Ventajas y desventajas de los métodos para la medición de impacto
Como lo comentamos en un post anterior, escoger el método de evaluación de impacto es un punto crítico dentro de todo el proceso de medición de impacto, que depende del diseño del programa, la información disponible y el momento en el que decides medir.
A continuación te contaré sobre las ventajas y desventajas de cada uno de los métodos para la medición de impacto social:
1. El método del experimento
El experimento es un método que requiere de un grupo de tratamiento y un grupo de control que sean idénticos estructuralmente. Es decir, es necesario que la única diferencia entre los dos grupos sea el tratamiento.
Ventajas del experimento
Aplicado correctamente, el experimento es el estándar de oro de las mediciones de impacto porque es el único método que permite determinar causalidad, es decir que un tratamiento causa un determinado impacto.
Desventajas del experimento
Debido a que la asignación debe ser aleatoria, surge la cuestión ética. Negar un tratamiento, como una medicina, a personas que sabemos que la necesitan puede resultar poco ético, por lo cual es particularmente desafiante para intervenciones sociales lograr una selección completamente aleatoria.
En ocasiones, para resolver esto, se recurre a una asignación aleatoria del momento en el que se recibe el tratamiento. Es decir, se escoge aleatoriamente el orden en el que todos los necesitados, recibirán el tratamiento.
Muchas veces el programa se encuentra en marcha o fue finalizado cuando se piensa en la medición y para entonces es muy tarde para tener un grupo de control seleccionado con aleatorización. Por tanto, este método se aplica para evaluaciones que se planificaron desde el inicio del programa y no se puede realizar retrospectivamente.
2. Método de la Diferencia simple
Se basa en el principio de una comparación simple entre el grupo de beneficiarios del programa (tratamiento) y los no beneficiarios (control) después de haber participado en el programa. La asignación de estos grupos no es aleatoria.
Ventajas del método de la Diferencia simple
Es un método simple de ejecutar que no requiere de muchos insumos. Únicamente se necesita información después del programa, así que es ventajoso para aquellos casos en los que no se alcanzó a levantar información previo al inicio del programa.
Desventajas del método de la Diferencia simple
Es necesario que los grupos de tratamiento y de control no tengan diferencias sistemáticas entre sí antes del programa, de lo contrario se puede sobreestimar o subestimar el impacto de la intervención.
Por ejemplo, si un programa de formación de emprendimiento tiene como criterio de elegibilidad un mínimo de años de experiencia laboral, es probable que los inscritos tengan emprendimientos ya establecidos y que por tanto sean más exitosos de por sí.
Este sería un caso de sesgo de selección que nos llevaría a sobreestimar el impacto positivo del programa de formación debido a que los participantes eran exitosos en su emprendimiento, antes de participar en el programa.
4. Método Pre-Post
Es un método que implica comparar al mismo grupo de personas antes y después de que fueron beneficiarios del programa.
Ventajas del método Pre-Post
No requiere de un grupo de control y por tanto es menos costoso y más sencillo de realizar. Es particularmente útil en aquellos casos en donde el diseño del programa no permite contar con un grupo de control o, el grupo de control tiene un marcado sesgo de selección que reduce su fiabilidad.
Desventajas del método Pre-Post
El supuesto del método no siempre se mantiene debido a que en el transcurso del tiempo se dan cambios en las vidas de las personas, que afectan su comportamiento.
Por ejemplo, si un programa de educación de finanzas personales se da durante un periodo de crisis económica, los resultados que se observen pueden deberse a los cambios en el entorno y no a los conocimientos obtenidos en los cursos impartidos dentro del programa.
5. Método de Diferencias-en-Diferencias
Es un método que toma en cuenta tanto las diferencias entre el grupo de tratamiento y el grupo de control como las diferencias en el tiempo: antes y después del programa.
Ventajas del método Diff-in-Diff
Es un método que goza de mayor credibilidad porque considera las diferencias en el transcurso del tiempo y las diferencias entre los grupos de personas (beneficiarios y no beneficiarios).
Es decir, tanto por las diferencias temporales que afectan a los dos grupos por igual como por las diferencias estructurales de las características entre el grupo de tratamiento y el control.
Desventajas del método Diff-in-Diff
No siempre es factible contar con información de los dos grupos antes y después del programa. Adicionalmente, si el supuesto no se mantiene y los grupos hubieran cambiado en la ausencia del programa, entonces el efecto observable no sería atribuible al programa.
6. Método del Matching
En este método se pretende emparejar a cada persona asignada al grupo de tratamiento con una persona que no participe en el programa y que tengan el mayor número de características en común.
Ventajas del método de Matching
Realizado adecuadamente, incrementa la probabilidad de identificar un impacto atribuible al programa, porque crea un grupo de control mucho más cercano al grupo de tratamiento.
No requiere de aleatorización, como el experimento, por lo que se deslinda del dilema ético que podría presentar ese método de selección de beneficiarios.
Desventajas del método de Matching
Es muy difícil disponer de información de todas las características que hacen que un individuo sea estadísticamente idéntico a otro. Usualmente disponemos de información de características observables como el género, edad, nivel socioeconómico, etc.
Disponer de una base de datos de características no observables, por otro lado, es mucho más desafiante. Ejemplos de características no observables son aquellas actitudinales como la motivación, esfuerzo, autoestima, etc.
Por ejemplo, podemos emparejar a dos niños que sean muy similares en términos sociodemográficos y que sean completamente distintos en personalidad; mientras uno es muy dedicado al estudio y el otro no, su desempeño escolar será considerablemente distinto indiferentemente de que el uno acceda a una beca y el otro no.
7. Método de Regresión discontinua
Es el método ideal para aquellos programas que asignan el cupo o la entrada al mismo, en función de un umbral específico. Como un programa de transferencias condicionadas, por ejemplo, en donde el beneficio es accesible para aquellas personas situadas en un determinado nivel de pobreza extrema.
Ventajas del método de Regresión discontinua
Con las condiciones necesarias, es el método de estimación de impacto más fiable después del experimento. En los programas en los que se aplica, usualmente se dispone de la información de corte, lo que facilita esta comparación.
Desventajas del método de Regresión discontinua
La mayoría de programas no están diseñados en función de un umbral, por lo que no se puede aplicar en todos los casos.
Por otra parte, las estimaciones de impacto se aplican únicamente a los individuos muy por debajo y muy por encima del umbral, mientras que para aquellos casos bastante lejanos del umbral no se puede acertar el impacto obtenido.
Hasta aquí la relación de ventajas y desventajas que hemos podido identificar en cada uno de los métodos de medición de impacto que aplicamos. ¿Has podido identificar ventajas y/o desventajas que no hemos mencionado? Cuéntanos tu experiencia.
Si necesitas más información puedes visitar nuestra página de recursos y descargarte nuestra, Guía: Pasos para la Medición de Impacto en tu Organización
