Hola. En este vídeo vamos a introducir un concepto fundamental para la estimación de impactos en la evaluación de políticas públicas. Un concepto que no estoy seguro que vaya a cambiar vuestras vidas pero sí que pienso, que si no lo conocéis hasta ahora va a cambiar la manera en cómo interpretáis el funcionamiento de las políticas públicas, en cómo concebís las políticas, funcionan o no funcionan. Pongámonos de una situación que queremos estimar el impacto de una determinada política pública. Nos interesa obtener este conocimiento para decidir, para decidir por ejemplo ampliar el programa o modificarlo, o cancelarlo o si somos un actor en el juego político para ponernos a favor o en contra, en cualquier caso queremos actuar teniendo conocimiento de causa. Para ver cómo podemos generar este conocimiento, imaginemos que estamos en un municipio en el que existe un problema de paro juvenil, hay muchos chicos que you no estudian y que están sin trabajar. Como éste es un problema evidente, municipio debe impulsar un nuevo programa. Esto ocurre en el año 2010. en el que hay 3.400 chicos en esta situación. Al cabo de dos años de haber iniciado el programa, you sólo quedan 3.100 en esta misma situación, sin empleo. 300 menos que antes. La pregunta es, ¿podemos decir que esta reducción en 300 chicos sin empleo es el impacto del programa? ¿Sí o no? La respuesta de hecho es, ni sí ni no. De hecho, no lo sabemos y no lo podemos saber. Vamos a ver por qué. Entre 2010 y 2012 ha ocurrido el programa, pero la verdad es que el mundo no se ha parado, al mismo tiempo pueden haber ocurrido muchas otras cosas. Por ejemplo, un cambio de ciclo económico, quizás la economía ha mejorado y parte de esta reducción en el número de chicos sin empleo se debe a esta mejora. O quizás un cambio en la legislación laboral, el gobierno central ha actuado contra el mismo problema con un cambio regulativo que facilite la contratación de jóvenes. Parte entonces de esta reducción de 300 se puede deber también a ello. O a una reforma del sistema educativo, que ha motivado que jóvenes que habían abandonado el sistema educativo de forma prematura regresen porque les ofrecen unos nuevos estudios, que antes no existían y que les motivan. Parte entonces de esta reducción puede deber a esto, estos chicos you no están apuntados al paro sino que han vuelto a la escuela. O algo mucho más prosaico, abierto un Ikea en el municipio y a contratado exactamente a 300 jóvenes, justo los que me faltan a mí. Por tanto, todo el mérito de la reducción del problema no es mío ni del programa, es de Ikea. En conclusión, la comparación entre antes del programa y después del programa no me dice cuál es el impacto del programa, me dice cuál es el cambio en la magnitud del problema. Y el reto es saber, qué parte de este cambio es atribuible causalmente a mi programa o política. Fijémonos ahora, en la política de educación pre-infantil de un país. El gobierno a creado una red de escuelas pre-infantiles y quiere saber si a traído impacto sobre el desarrollo cognitivo de los niños a los cinco años, Justo antes de que empiecen la escuela infantil. Resulta, que tengo un test validado para medir el desarrollo cognitivo de los niños de esta edad. Y los niños que han ido a la escuela pre-infantil obtienen de media un 64,1% de los puntos del test y los niños que no han ido a la escuela pre-infantil obtienen un 53,9%. Por tanto, una diferencia de diez puntos porcentuales. La pregunta es la misma que antes, ¿podemos decir que esa diferencia es el impacto de la escuela pre-infantil en el desarrollo cognitivo de los niños? ¿Sí o no? De nuevo, la respuesta es que no lo sabemos. Podría ser, pero no es seguro. ¿Por qué? En este caso porque los niños de uno y otro grupo pueden ser distintos, podríamos estar comparando manzanas con peras, algo que you en la escuela nos decían que no se tiene que hacer. Quizás por ejemplo, las familias que envían a los niños a la escuela pre-infantil tienen mayor nivel educativo y estimulan más a los niños en el hogar. Y por tanto, la diferencia en el resultado del test se debe, al menos en parte a estos otros estímulos. O quizás tienden a ser niños de hogares en que madre y padre trabajan. Por lo tanto, la renta del hogar es más alta y permite comprar más recursos como cuentos, juguetes y dispositivos electrónicos que estimulan el desarrollo infantil. Por tanto, la diferencia en el desarrollo cognitivo, le llamaremos lo que es, diferencia. Y el reto es determinar, qué parte de esta diferencia es atribuible a la política de escuela pre-infantil. Volvamos ahora al programa de empleo juvenil. Hemos dicho que el impacto no es la diferencia entre el antes y el después en la magnitud del problema. Si hiciéramos esto incurriríamos en lo que se llama un sesgo por factores externos o historia. Es decir, en atribuir al programa lo que en realidad es el efecto de otras cosas que están ocurriendo al mismo tiempo, como un cambio en la regulación en la normativa laboral o quizás que se ha abierto un centro comercial como Ikea. ¿Qué es pues el impacto? Concentrémonos bien, porque aquí viene la parte importante. El impacto es la diferencia entre lo que ha ocurrido en este municipio en 2012 con el programa a lo que vamos a llamar factual y lo que hubiera ocurrido en este mismo municipio en 2012 sino se hubiera llevado a cabo el programa. Fijaros, que esto es correcto por definición. Entre un mundo en 2012 con programa y otro mundo idéntico también en 2012 pero sin el programa, lo único que puede haber motivado a la diferencia en el número de chicos sin empleo es el programa. A éste lo que hubiera ocurrido en ausencia del programa le llamaremos contrafactual, que es la estrella de este vídeo. La diferencia entre el contrafactual y el factual es a lo que podemos llamar impacto. Lo mismo ocurre para el caso de la educación pre-infantil. Hemos dicho que no podemos comparar la puntuación en el test de participantes y no participantes porque no son dos grupos de niños iguales, sería comparar manzanas con peras. Pueden diferir en características que influyan en el desarrollo cognitivo y hemos puesto como ejemplo, los estímulos que reciben en el hogar y los recursos que hay en el hogar como cuentos, dispositivos electrónicos y otros juguetes. Si a la diferencia cruda entre los dos grupos le llamáramos impacto, estaríamos incurriendo en un sesgo de selección. Es decir, en atribuir al programa lo que en realidad se debe a diferencias previas entre los dos grupos. Lo que nos interesa es conocer, cuál es la puntuación obtenida por los niños que han ido a la escuela pre-infantil, el factual en comparación con la puntuación que hubieran obtenido estos mismos niños sino hubieran ido a la escuela pre-infantil, el contrafactual. A esto, a la diferencia entre estas dos cifras sí le podemos llamar impacto. Llegado de este punto, intuyo caras de extrañeza. Podemos saber cuántos chicos hay sin empleo, por supuesto. O qué puntuación han obtenido los niños que han ido a preescolar. Pero, ¿cómo podemos saber que habría ocurrido sino existiera el programa o política? ¿Cómo sabemos como sería el mundo en ausencia de nuestro programa? Y exacto, ahí está el truco. Nadie dijo que fuera sencillo. El gran reto es justamente llegar a hacer una hipótesis contrafactual. Una hipótesis sobre cómo sería el mundo en ausencia de nuestro programa o política. Veremos, que hay diversos métodos posibles para hacerlo. Pero dejadme que antes de explicarlos, explique la lógica de la hipótesis contrafactual en un solo gráfico. Vamos a imaginar que tenemos un grupo de chicos que están en el último curso de secundaria obligatoria, con un nivel en principio suficiente para aprobar y obtener el certificado, pero que están haciendo un poco el tonto y por tanto, también están a riesgo de no graduarse. Lo que puede tener un impacto muy negativo en sus vidas. Supongamos, que ponemos en práctica una política de refuerzo. Por ejemplo, tutorías personalizadas para estos chicos. Y a la final del curso, cinco aprueban que están contentos y dos no que son los que se van con la cabeza baja. ¿Qué me dice esto sobre el impacto del programa? A estas alturas deberíais saber la respuesta. Nada, no me dice nada. Porque quizás sin el programa hubieran aprobado exactamente los mismos, cinco, con los que el efecto habría sido nulo. O quizá no hubiera aprobado ninguno y el programa ha sido un gran éxito, un éxito total, han aprobado cinco que sin el programa no hubieran aprobado. O quizás hubieran aprobado todos y con bisuterías he conseguido aburrir a dos hasta el punto de querer dejar el sistema educativo. De hecho, sólo se el factual. Cinco aprueban y dos no. Para saber algo sobre el impacto necesito estimar el contrafactual. ¿Cómo hacerlo? Fundamentalmente en dos pasos. Primero, tengo que darme cuenta que estos siete chicos del programa con nivel para graduarse pero en riesgo de no hacerlo pertenecen a un conjunto mucho mayor de chicos en esta misma situación. Entre este conjunto puedo seleccionar un grupito que se parezca mucho a mis participantes en aquellas características que tienen influencia sobre la probabilidad de graduarse. Nivel educativo de los padres, si son chicos o chicas, qué notas sacaron el año anterior, etcétera. El segundo paso es seguir a estos alumnos que se parecen tanto los participantes pero que no participan en ningún programa y ver qué les pasa. En este caso, tres aprueban y cuatro no. Fijaros, que esto también es un factual. Estos chicos existen y puedo ver qué les ha ocurrido. La hipótesis contrafactual pasa por decir, si estos chicos en negro que han participado en el programa no hubieran participado, ¿les habría pasado lo mismo que a estos otros chicos en gris, que se parecen mucho a los de negro y que efectivamente no han participado? En otras palabras, busco el contrafactual en un grupo de comparación. Un conjunto de chicos, de municipios, de hospitales, de policías, de lo que sea muy parecido a los participantes pero que no ha tomado parte o que no ha estado expuesto a la política o programa. En este caso el impacto sería de dos chicos más que se gradúan, que es la diferencia entre factual cinco sobre siete y contrafactual tres sobre siete. Fijaros sin embargo, que en este gráfico hay dos cuestiones críticas. ¿Sabéis ver cuáles? La primera es que ha asumido que siempre hay un conjunto más grande de no participantes, del cual puedo extraer un grupo de comparación y esto no siempre es así. Los programas o políticas que afectan a todo el mundo desde el primer momento no permiten construir grupos de comparación. Sería el caso por ejemplo, del incremento en un impuesto, que afecta a todos y desde el primer momento. Cuando existe esta falta de variabilidad es un gran problema para la evaluación. La segunda cuestión crítica es que puede resultar muy difícil encontrar a un grupo de comparación que sea realmente idéntico de participantes en todas las características relevantes. Eliminar el sesgo de selección es a veces una misión imposible. Por lo que las estimaciones de impacto, no se libran de la sospecha de sesgo. De hecho, cuán seguros estamos de los dos grupos son realmente muy parecidos. Es uno de los grandes determinantes de la robustez de las evaluaciones de impacto. En el siguiente vídeo veremos el método más robusto para hacer una evaluación de impacto, es llamado experimento social. De momento, concluyamos recordando que el impacto no resulta de una comparación entre el antes y el después o entre participantes y no participantes, sino que resulta en la diferencia entre factual y contrafactual. Entre lo que ha ocurrido con el programa y lo que hubiera ocurrido en ausencia del programa. you lo habéis visto, cuando evaluamos el impacto no queremos saber si el problema que da origen a una determinada política pública mejora o empeora, si hay más o menos parados sino si la política pública ha tenido algo que ver. En otras palabras, la evaluación de impacto aspira a ser una diferencia causal, atribuir la causa de cambio o de una parte de este cambio a la política pública. Asociar P el programa con O el outcome. Tan simple conceptualmente y sin embargo tan complejo en la práctica. El motivo de esta complejidad, de esta dificultad es que aunque el factual, aunque Y1 es observable y se puede medir con cierta facilidad Y cero el contrafactual, lo que hubiera pasado no es observable. Porque las mismas personas no pueden haber participado y no participado en un programa o política al mismo tiempo. Por tanto, la solución pasa por formular una hipótesis contrafactual, es decir, el imaginar, en pensar cómo sería el mundo en ausencia de nuestro programa o política pública. Y esta estrategia suele pasar por la identificación de un grupo de comparación.
