Métodos analíticos para reportar impacto.

La medición de impacto te permite responder a cuál es el verdadero propósito de tu programa o proyecto y conocer la magnitud del impacto o cambio que estás generando en el público objetivo. Además de que representa otras muchas ventajas para tu programa y tu organización. Entonces, hacerla correctamente es imperativo y en ese sentido, escoger el mejor método de evaluación de impacto es crítico.

En general, es ideal que pienses en la medición de impacto antes de que el programa empiece, es decir, en su fase de diseño, ya que así dispones de todos los métodos para identificar el impacto que más te interesa desde tu organización. 

De esta manera, estarás en condiciones de aplicar el método que elijas, con tiempo suficiente para definir la información y las características de los grupos de personas (control y tratamiento), que el método requiera. 

Ahora, si tu programa está en curso o, inclusive, ya ha finalizado, ¡no desesperes! Todavía tienes algunos métodos entre los cuales elegir para identificar tu impacto social, así que nunca es muy temprano ni demasiado tarde para medir.

Métodos para la medición de impacto social

A continuación te contaré sobre los métodos que puedes utilizar:

• El método del Experimento

También conocido como Ensayo Controlado Aleatorio (ECA) es precisamente eso: un experimento. Similar a las aplicaciones científicas, el experimento requiere de un grupo de tratamiento y un grupo de control.

Piensa en el clásico experimento para identificar si una medicina cura una enfermedad.

¿Qué se necesita?

Un grupo de tratamiento y un grupo de control. Es decir, un grupo de personas que recibe el beneficio (forman parte del programa), y otro grupo de personas que no lo recibe.

Con este método, el impacto se mide a través de la diferencia promedio, en la variable de interés, entre el grupo de control y el grupo de tratamiento. 

Es decir, si quiero evaluar el efecto de una medicina particular en el nivel de glucosa en la sangre, por ejemplo, un grupo de pacientes la recibe y otro grupo de pacientes no la recibe. Entonces, medimos el nivel de glucosa en la sangre en los dos grupos y si existe una diferencia se debe al efecto de la medicina.

Sin embargo, para que el impacto estimado sea real se requiere de una condición clave: que la única diferencia entre los dos grupos sea el tratamiento. ¿Por qué? Si existen otras diferencias sistemáticas entre los dos grupos, es incorrecto determinar que el efecto que observemos se deba exclusivamente al tratamiento.

Asumamos que la medicina del ejemplo busca reducir el nivel de glucosa en la sangre y que el grupo de control (que no la recibe) está compuesto solo por pacientes que tienen hipoglucemia (bajo nivel de sangre). 

¿Qué sucederá? Muy posiblemente, observaremos que no hay diferencia en los niveles de sangre entre el grupo de tratamiento que recibió la medicina y el de control que no la recibió, concluyendo equivocadamente que la medicina no es efectiva.

Este problema es conocido como sesgo de selección y se da cuando la asignación de personas en el grupo de tratamiento y/o de control tiene un error sistemático que resulta en diferencias entre los dos grupos, más allá de la diferencia de haber recibido el tratamiento o no.  

Por ejemplo, si una persona escoge quién recibe el tratamiento y quién no, puede darse que inconscientemente tenga un sesgo de escoger a gente más joven, distorsionando los resultados de la medición. En este ejemplo, al tener los jóvenes mejor estado de salud, se concluiría erróneamente que la medicina en cuestión no tiene efecto.

Para evitar estas diferencias entre los dos grupos, el experimento requiere de una condición fundamental: que la asignación a cada grupo sea aleatoria. Pensemos en una especie de lotería que determina quién recibe la medicina y quién no, esta es la única forma de asegurar que no exista un sesgo de selección y que el grupo de control sea idéntico, estadísticamente, al grupo de tratamiento.

• Método de la Diferencia Simple

Este es uno de los métodos que se usa con mayor frecuencia en la medición de impacto. El principio es bastante sencillo: se compara el grupo de beneficiarios del programa (tratamiento) con los no beneficiarios (control).

La mayor diferencia con el experimento es que la asignación de los grupos no es aleatoria. 

El supuesto de este método es que los dos grupos no tienen diferencias entre sí, fuera del tratamiento que reciben, y el impacto se mide con las diferencias después del programa entre quienes formaron parte del programa y los que no.

¿Qué se necesita?

Un grupo de tratamiento y uno de control claramente definidos (tener identificado beneficiarios y no beneficiarios del programa).

• Método Pre-Post

Similar al método de la Diferencia Simple, el Pre-Post se basa en una comparación, pero en este caso, se compara el mismo grupo de personas antes y después que fueran beneficiarios del programa. 

En vez de comparar grupos de personas distintas, se trata de evaluar al mismo grupo en dos puntos distintos en el tiempo.

El supuesto clave detrás de este método es que el único cambio entre el grupo de personas, durante el periodo de tiempo estudiado, es la participación en el programa. 

Si la duración del programa es corta, como una capacitación de una semana, este supuesto es más probable. Sin embargo, si un programa es de mayor duración, es cada vez más probable que existan otros factores en las vidas de los beneficiarios, que puedan inducir cambios en su comportamiento fuera de la intervención social.

¿Qué se necesita?

Únicamente el grupo de beneficiarios e información de ellos antes y después del programa.

• Método de Diferencias-en-Diferencias

Se lo conoce también como Diff-in-Diff y consiste en una combinación entre la Diferencia Simple y el Pre-Post. Es decir, el método toma en cuenta tanto las diferencias entre el grupo de tratamiento y el grupo de control como las diferencias en el tiempo: antes y después del programa.

El supuesto de las Diferencias-en-Diferencias es que, en la ausencia del programa, los dos grupos hubieran tenido trayectorias iguales en su comportamiento. Si es que se hubieran dado diferencias distintas al programa, no podríamos acertar que estos cambios fueron resultado del programa (tratamiento), o de factores externos que indujeron su comportamiento (como el ejemplo de la recesión).

¿Qué se necesita?

Grupo de tratamiento y de control claramente definidos, al igual que información de los dos grupos antes y después del programa. 

• Método del Matching

Con el Matching o “Emparejamiento”, se busca construir un grupo de control que sea en lo posible lo más parecido al grupo de tratamiento. ¿Cómo funciona? Se busca emparejar a cada persona asignada al grupo de tratamiento con una persona que no participe en el programa y que tengan el mayor número de características en común. 

En esencia, el desafío consiste en armar un grupo de control identificando un clon para cada beneficiario del programa. Para hacer este emparejamiento se establece un índice conocido como Propensity Score Matching que establece la probabilidad de formar parte del programa en base a una serie de características. 

En este caso, el supuesto es que las características definidas son suficientes para emparejar clones y que estas parejas no tienen otras características que los diferencian entre sí. De esta manera, la diferencia observable entre los grupos de parejas se atribuye a la intervención social. 

¿Qué se necesita?

Suficientes parejas para cada beneficiario del programa, o al menos, para una muestra representativa de los beneficiarios del programa. Además, se requiere de información de las suficientes características para construir el grupo de control con base en el grupo de tratamiento.

• Método de Regresión discontinua

Es un método que arroja resultados bastante confiables pero que únicamente se puede aplicar en condiciones muy particulares. Algunos programas, por la naturaleza de su diseño, asignan el cupo o la entrada al mismo, en función de un umbral específico: un nivel máximo de ingresos anuales, un nivel dado de calificación en un examen, etc.

¿Cómo funciona? El método saca provecho de este diseño de elegibilidad en función de un umbral y asume, como supuesto, que los individuos apenas por debajo del umbral son casi idénticos que los individuos apenas por encima del umbral. 

Por ejemplo, si el umbral para acceder una beca es una nota de 9 sobre 10, se asume que aquellos estudiantes que obtuvieron 8,99 son muy parecidos a aquellos que obtuvieron 9,00. 

A continuación, se compara estos dos grupos antes y después del programa, de manera que, si se observa un “salto” en el cambio de comportamiento o la variable del resultado en el grupo de tratamiento en comparación al grupo de control, este efecto se le atribuye al programa. 

Si, por el contrario, no hay un “salto” o una diferencia considerable entre los dos grupos, entonces se determina que el programa no tuvo un impacto.

¿Qué se necesita?

Información de los individuos apenas por debajo del umbral de selección antes y después del programa. 

Usualmente, no es complicado disponer de esta información cuando se debe llenar una aplicación para participar en el programa, ya que es un mecanismo para obtener datos de las características de aquellos individuos que queden apenas por debajo del umbral de selección.

Como habrás notado, existen múltiples métodos analíticos para la medición de impacto, solo debes seleccionar el que mejor se adapte al tipo de programa que tienes entre manos y a tu disponibilidad de datos. Esta decisión depende del diseño del programa, sus características, la información disponible y el momento en el que decides medir el impacto.

Espero que esta guía sobre los métodos de evaluación de impacto te resulte útil. Recuerda que para todo el proceso, de inicio a fin, ¡Cuantix está para apoyarte!.