Cómo definir el presupuesto de la medición de impacto

Para definir el presupuesto para una medición de impacto,  debes partir de la premisa de que su costo depende de factores asociados al programa propiamente dicho como la estrategia de medición, la diseminación, el reporte y el uso que se le pretende dar a los resultados que se obtengan de esa medición.

Teniendo estas premisas en mente, pasa a responder, muy sinceramente, a esta pregunta: ¿cuánto estás dispuesto a invertir en la medición de impacto de tu proyecto? Una respuesta honesta a esta interrogante,  no solo te ayuda a sincerar el presupuesto de tu iniciativa, sino que también te puede dar una buena idea sobre el alcance y la calidad  de los resultados que puedes aspirar a obtener de tu presupuesto.

Por ejemplo, un estudio elaborado por el programa Americorps en Estados Unidos, indica que el costo de la medición, para una muestra de 70, representa el 19% del presupuesto anual del programa, en promedio, con un valor mediano del 15%. 

Por supuesto, el rango de estos valores depende de variables como el tipo de diseño de la evaluación (experimental, cuasi-experimental o no experimental), el tamaño del estudio y en el nivel de rigurosidad metodológica seguida.

Pasos para definir el presupuesto de la medición de impacto de un proyecto o programa social

Lo ideal es que la medición de impacto aparezca en el presupuesto desde el principio y su monto se establezca atendiendo a criterios muy concretos. A continuación, te mostramos algunos pasos para definir claramente el presupuesto:

• Realiza la Teoría del cambio del proyecto o programa

Para empezar, es necesario que sepas que el costo de la medición de impacto tiene mucha relación con la claridad y especificidad de tu objetivo general, así como de los indicadores que se decidan medir.

Por esta razón, lo más recomendable es que las organizaciones realicen la teoría del cambio de su proyecto, anticipando la cadena causal de efectos potenciales que la intervención puede tener sobre unos indicadores medidos en la población objetivo. 

De esta manera, podrán conocer: los detalles de la intervención, los sitios geográficos donde la población objetivo se encuentra, las diferencias entre los grupos a estudiar, y otros factores como los productos entregados, resultados intermedios e impacto a corto y largo plazo. 

Esto es clave porque existen ciertas variables dentro de esa cadena causal que pueden incrementar los costos de un proyecto. Por ejemplo: seguimiento de varios objetivos de investigación, mayor cantidad de actividades de medición, o intención de conocer conocer efectos diferenciados por grupos de la población objetivo. 

Además, la teoría del cambio permite a la organización hacer frente a potenciales problemas en la intervención o en la medición, como posibles obstáculos logísticos o posibles sesgos de selección. 

Esto último podría resultar en la modificación de la intervención y mejorar la calidad de la medición. Es decir, que con la teoría del cambio consigues datos para estimar mejor el presupuesto y, al mismo tiempo, se hace más sencilla la medición y la propia ejecución del proyecto.

Mientras más claro y específico sea tu objetivo, será más fácil hacer teoría del cambio de programa y anticipar qué indicadores vale la pena monitorear y en qué momentos del proyecto deberá hacerse. En consecuencia, podrás estimar mejor los costos implicados.

• Selecciona la metodología de medición apropiada

En muchos casos se puede evidenciar que existe una relación entre la rigurosidad de la evaluación y los costos asociados. 

Por ejemplo, hacer uso de diseños aleatorio, que gozan de gran rigurosidad metodológica, puede requerir mayor tamaño de la muestra, para evidenciar diferencias significativas entre grupos. Eso implica costos.

Por otro lado, dependiendo de la metodología de medición a utilizar, se puede hacer necesario recolectar datos de varios grupos de individuos o conglomerados, lo que impacta en un mayor tamaño de la muestra y por lo tanto, mayores costos de medición. 

• Identifica los hitos de la medición de impacto

Una medición de impacto de calidad requiere varios procesos de recolección de datos. 

Por ejemplo, puede ser de utilidad definir una línea de base al principio del programa para caracterizar a la población, con sucesivos seguimientos de la muestra para analizar el cambio en el tiempo de los participantes (y no participantes) del programa en indicadores de interés. 

Estas distintas recogidas de información, tienen costos asociados que deben tomarse en cuenta.

Vale decir que es posible reducir estos costos con el uso de lo que llamamos “data administrativa”, que es data secundaria por ejemplo: registros médicos, reportes elaborados por agencias gubernamentales, o datos históricos. 

• Selecciona correctamente los indicadores

Saber cuáles son los aspectos a medir, también te dará idea de los costos que estarán involucrados. Esos aspectos o variables se definen en forma de indicadores.

La selección de indicadores que cumplan con los criterios SMART* (o al menos, los criterios que tienen mayor interés para la organización), puede impactar en el presupuesto de medición.

Supongamos que una organización desarrolla un programa para reducir la incidencia de escorbuto (enfermedad producida por carencia de vitamina C) en niños y adolescentes en zonas rurales. 

Un posible indicador es el nivel de ácido ascórbico estimado por exámenes de laboratorio. No obstante, en muchos casos realizar exámenes de laboratorio a una parte de la muestra, puede incrementar significativamente los costos de medición. 

Una posible alternativa implica realizar un examen físico para evidenciar síntomas posiblemente asociados al escorbuto. Este indicador, aunque posiblemente presente un mayor rango de error, puede ser una alternativa aceptable en escenarios de restricciones presupuestarias. 

• Define los métodos de recolección de datos

Los métodos de recolección de datos suelen representar algunos de los costos más significativos en los procesos de medición. Estos pueden variar en gran medida dependiendo del tipo de encuesta que se use (si se aplican encuestas): autoaplicadas o facilitadas por un encuestador, impresas o a través de medios electrónicos. 

Además de eso, en una evaluación de impacto de calidad se deben planificar los recursos destinados a la revisión de literatura y al diseño de las encuestas buscando la mayor rigurosidad metodológica posible. En algunos casos puede ser necesario de personal calificado para estos procesos. 

¿Vas a usar encuestas propias o te apoyarás en un instrumento de terceros? ¿Tu personal hará las encuestas o deberás contratar a algún proveedor?. Estas son preguntas que debes responder para poder dimensionar de forma correcta costos asociados a tu medición.

En “Los 5 errores más comunes a la hora de seleccionar tus indicadores de impacto”, mencionamos que uno de esos errores es no considerar cómo capturar la data que se requiera para alimentar un indicador. 

Porque, por ejemplo, saber si la incorporación de un filtro de agua está incidiendo en la mejora de la salud estomacal de la población objetivo, podría implicar que debas hacer evaluaciones médicas especializadas a esa población.

El costo de hacer esos exámenes médicos es diferente al costo que podría tener contabilizar la cantidad de veces que son internados en el médico por problemas estomacales desde la activación del filtro. ¿Notas la diferencia?

• Considera el proceso de análisis de datos

El volumen de datos a analizar y las herramientas que utilizarás para hacerlo, son aspectos que  inciden en el monto a definir en el presupuesto. Anticípate y evalúa si debes contratar a personal para que haga este análisis o no.

En algunos casos, puede ser necesaria la capacitación del personal del equipo, así como de personas claves de la organización, para que sean capaces de realizar el análisis estadístico que corresponda, así como interpretar los resultados. 

• Determina la duración y la logística

Cada uno de los aspectos mencionados arriba lleva tiempo. Tiempo que se traduce en dedicación de personas y equipos. Dedicación que cuesta dinero.

Un aspecto central en el presupuesto de medición de impacto es la logística asociada a estos procesos. Por ejemplo, la planeación de la medición o la definición de la metodología de recolección de datos, son procesos que requieren esfuerzo en las organizaciones. 

Estos son aspectos que suelen ser más costosos cuanto más grandes, sofisticados y/o ambiciosos son los objetivos que se persiguen.

Algunas organizaciones como el Banco Mundial, dividen el aspecto logístico en varias categorías de gastos como: comunicaciones del equipo, transporte, viaje al sitio de medición, gastos de estadía, impresiones y otros materiales requeridos para el proceso de medición.

• Decide si contratarás asesoría profesional

La selección de la mejor manera de recoger la data, también pasa por decidir al personal responsable de esta tarea. Puedes delegarla en personal interno para intentar abaratar un poco los costos, pero la implicación será una mayor supervisión de tu parte; o puedes contratar a terceros, lo que impactará directamente tu presupuesto.

En todo caso, dedica tiempo a preparar a esas personas para la aplicación del instrumento específico que se usará y para manejar los códigos de interacción con la población a entrevistar/medir/encuestar. Así evitarás errores futuros con la data que has levantado, que pueden resultar muy costosos para tu proyecto.

Contratar a terceros puede ser un poco más costoso, pero por otra parte, tiene la ventaja de que son profesionales con experticia y herramientas adecuadas para valorar los datos del tipo de programa que tienes entre manos. Esto, a la larga, puede ahorrarte mucho dinero. 

Asimismo, la intervención de un tercero te garantiza objetividad en el manejo de los datos y te confiere credibilidad puesto que contarías con una suerte de auditoría externa. 

• Define qué herramientas tecnológicas usarás

Pensar en medición de impacto, es pensar en un proceso laborioso y costoso que requiere de un gran esfuerzo. Sin embargo, hoy día  la tecnología juega un rol importante dentro del campo de la medición, permitiendo que muchas de las tareas, que hasta ahora son ejecutadas de forma manual, puedan automatizarse para reducir, considerablemente, los costos y tiempo de implementación. 

Debes saber de antemano si incluirás alguna herramienta digital para elaborar encuestas y recolectar de forma remota tus datos, si necesitarás alguna plataforma para comunicarte con tu público de interés o, si te apoyarás de algún software analítico para la generación de tus reportes.  

Plataformas como Cuantix te ofrecen una serie de funcionalidades integradas para gestionar, desde un mismo lugar, cada una de las fases de tu proceso de medición de impacto.

 * Los llamados indicadores SMART, hacen referencia a Específicos (“S”), Medibles (“M”), Factibles (“A”), Relevantes (“R”) y Oportunos (“T”).