Agile Impact Blog

Errores comunes al seleccionar Indicadores.

Escrito por Adriana Mata | Jul-190


La medición de impacto es el proceso que nos ayuda a entender cómo cambia la vida de las personas después de nuestra intervención y demostrar que se debe únicamente a lo que hicimos y no a otra cosa.

Es decir, nos permite demostrar con datos estadísticos, numéricos y objetivos, qué  cambió y en qué magnitud,  en la población que recibió el programa.

Esto es lo que hace de la medición de impacto un proceso tan necesario y valioso; ya que, una vez tengas los resultados de impacto, no estarás contándole sólo anécdotas a tus inversionistas o colaboradores. ¡Estarás mostrándoles evidencia científica! ¿Poderoso, verdad?

Como seguramente sabes, una de las claves del éxito en la medición es la selección correcta de los indicadores, y en muchos casos, representa uno de los retos más difíciles de resolver.

A continuación te contaremos cuáles son los errores más frecuentes que se cometen al seleccionar los indicadores para la medición de impacto y la forma de superarlos.

 

Errores frecuentes en la selección de indicadores

 

     1. Usar indicadores de alcance como indicadores de impacto

Uno de los indicadores más comunes (casi indispensable) en cualquier reporte de impacto, es la cantidad de personas que el programa ha podido atender; sin embargo el número de beneficiarios de un programa es un indicador que no habla del impacto.

Un indicador de impacto debe hablar del cambio verificable que se está produciendo en la vida de alguien gracias a tu intervención.

El indicador de impacto debería ayudarte a que digas, exactamente, cómo están siendo impactados los beneficiarios de tu programa: ¿están encontrando empleo? ¿en qué porcentaje aumentaron sus ingresos? ¿mejoraron su desempeño en la prueba final de Matemáticas? ¿cuánto peso han ganado?

Es el tipo de datos que se busca tras un proceso de medición y, como imaginarás, implica períodos de mediano o largo plazo. Entonces, el indicador debe llevarte lo más directamente posible a encontrar ese dato, aunque deba esperar un poco más de tiempo.

 

     2. Usar indicadores ambiguos

Los indicadores ambiguos permiten la libre interpretación de su significado. No son claros y específicos.  

Por ejemplo: aprendizaje, empoderamiento, calidad de vida, son palabras que pueden tener tantos significados como lectores u oyentes. 

En una medición de impacto no debe haber cabida a la interpretación. Hay que aclarar el significado exacto de esas palabras/frases, para que:

  • Haya consenso en el equipo interno sobre su significado.
  • Sea fácil demostrar si cambia o no tras tu intervención.
  • Sea posible, más adelante, comparar con resultados de otros estudios.

    3. Escoger un indicador que no se conecta directamente con el problema a resolver

Como mencioné en el punto número 1, el indicador debe llevarte lo más directamente posible a encontrar el dato que revele, sin lugar a dudas, el cambio que estás provocando en las personas.

Si estás intentando resolver la desnutrición en un grupo de niños, tu indicador no puede ser su porcentaje de asistencia a la escuela o la cantidad de horas que pasa frente al televisor. 

Debe ser uno que te permita verificar si, en efecto, su desnutrición está desapareciendo o no. ¿Me sigues?

Te ayudaría mucho plantear todo el recorrido que debe hacer la persona desde el momento en el que ingresa en tu programa o proyecto, hasta que experimenta el cambio que estás buscando que haga o que le suceda. Así verás con mayor claridad cuáles son esas cosas que deberían estarse midiendo en el interín. 

Por eso la Teoría del Cambio resulta ser una metodología tan útil; ya que es la que te permite hacer todo ese recorrido, mapear los resultados esperados y los productos intermedios.

 

     4. Basarse en indicadores oficiales de una escala más amplia

Los indicadores oficiales de un país o un departamento o estado tienen una gran ventaja porque generalmente están muy bien diseñados y la data que los alimenta suele ser de muy buena calidad. 

Sin embargo, aquí tenemos un problema de escala. Por ejemplo, si quieres disminuir la tasa de robos en una ciudad,  la tasa de robos del país te servirá de muy poco para evidenciar un cambio. De igual manera, si el nivel de alcance de tu programa no tiene la dimensión para impactar las estadísticas de una ciudad, difícilmente te servirán las estadísticas oficiales del estado/departamento.

Entonces, si vas a tomar como referencia un indicador oficial o de algún organismo internacional, revisa bien que realmente sea de una escala que puedas impactar y a la vez sea correcto en los datos para calcularlo.

 

 5. Utilizar indicadores muy costosos o inviables de recolectar 

Ciertamente, los 4 errores anteriormente mencionados, por obvios que parezcan, son bastante comunes y fácilmente evitables (si se toma en cuenta las consideraciones mencionadas). 

Pero hay un error que no es tan obvio y que puede dinamitar tu plan de medición. Este error es: No considerar cómo capturar la data que necesitas para alimentar ese indicador. 

Por ejemplo: El “Porcentaje de niños con anemia” es un indicador que pareciera ser muy acertado, válido y coherente (suministrado por la Organización Mundial de la Salud). 

Sin embargo, el gran problema con este indicador es que no es “económico” de medir, ya que para poder conocer el valor de éste, se necesitaría hacer un examen de sangre a los participantes del proyecto. Esto, obviamente, pudiera implicar costos prohibitivos y una logística inmanejable.

Hay algunos países que ponen gran esfuerzo en publicar data de interés a distintos niveles de agregación: municipio, comuna, urbanización, manzana, etc, pero en la gran mayoría de los países latinoamericanos hay escasez de data pública. Es por eso que a las organizaciones que ejecutamos programas de impacto social en estos países, no nos queda más que levantar la data por nuestra propia cuenta.

¿Entonces, qué debo considerar a la hora de seleccionar los indicadores?

A estas alturas, puedes estarte preguntando si hay un modo de evitar cometer estos errores tan frecuentes; y la respuesta es sí. Las siguientes consideraciones pueden ayudarte a facilitar el proceso de selección de indicadores para tu proyecto:

  1. Existen bancos de indicadores que ya han sido validados para medir eso que tú estás intentando medir. Úsalos como referencia para saber cuáles son esos indicadores que pudieran ajustarse a tu iniciativa.
    No sólo te darán una mayor cantidad de opciones sobre qué medir, sino también te permitirán tener benchmarking, una vez que obtengas tus propios resultados.
  2. ¡Apóyate en la Teoría del cambio! Ya mencioné que es una metodología que te lleva de la mano hasta que encuentras ese indicador que necesitas para tu estudio.
    Pero su verdadero valor está en que es un proceso que te permite, no solo definir tu hoja de  ruta, sino desafiar el efecto cuantificable y los indicadores que estás proponiendo para medir el cambio. Este tiempo de reflexión te evitará muchos problemas a futuro.
  3. Por último, ten presente que pensar en medición es pensar, en paralelo, cuánto estás dispuesto a invertir de acuerdo a la calidad de datos que tu proyecto requiere. Lograr este balance, es crucial para el éxito de tu plan de medición. 

Estos son algunos de los errores más comunes que he podido observar trabajando con distintos tipos de organizaciones a lo largo del tiempo. Espero que estas pequeñas consideraciones te ayuden en el proceso de demostrar objetivamente el impacto de tu proyecto.

Ahora, te invito a revisar los indicadores que estás utilizando y a refinarlos con estos puntos en mente, para que logres los resultados correctos e impulses el crecimiento de tu organización.