Como que esto es muy importante, vamos a hacer la repetición de la jugada. En este gráfico se indica la participación en el mercado laboral. Es decir, el número de personas que están trabajando en un momento dado. Vamos a imaginar que es el porcentaje de personas jóvenes que están trabajando. A medida que avanzan los meses de la crisis, cada vez hay menos personas jóvenes que estén trabajando. Esto, obviamente, es un problema. En algún momento alguien levanta la bandera roja y dice, ¡aquí hay que hacer algo! Imaginemos que en ese momento se decide hacer un cambio regulativo. Y ahora queremos saber cuál es el impacto de esta nueva regulación. Vamos a ver qué ocurre después de la nueva regulación. Lo que ocurre es que el número de personas que están trabajando sigue disminuyendo, pero ahora disminuye a un ritmo un poco inferior del que estaba reduciéndose hasta ese momento. Esto es lo que ha pasado, you sabéis qué nombre le damos a veces, que es el factual. Como sabéis el factual no nos dice si el impacto ha sido positivo o negativo. Necesitamos saber cuál es el contrafactual, es decir, qué hubiera sucedido en ausencia de este cambio regulativo. Una posibilidad es esta. Que el número de personas que están trabajando se hubiera reducido a un ritmo todavía superior. En este caso, el impacto del cambio regulativo hubiera sido positivo. Gracias al programa, hay menos personas que trabajan, pero son más las que hubiera habido en ausencia del programa. Otra posibilidad es que lo que ha pasado y lo que hubiera pasado son exactamente lo mismo. En este caso, el impacto es nulo. Hemos hecho un cambio regulativo, pero no ha tenido ningún efecto sobre la tendencia del número de personas que trabajan. Y aún hay esta tercera posibilidad, que si no hubiéramos hecho el cambio regulativo, lo que hubiera pasado es que hubiera remontado el número de personas que trabajan y ahora mismo habría bastantes más de las que hay habiendo hecho el cambio regulativo. Si este fuera el caso, obviamente, el impacto de nuestra decisión ha sido negativo. Lo que nos interesa ver es que para un mismo, lo que ha pasado, para un mismo factual, la conclusión sobre el impacto del programa puede ser, impacto negativo, impacto nulo o impacto positivo, dependiendo de cuál sea el contrafactual. Esto nos reafirma en la opinión que saber qué ha pasado, saber la tendencia de un problema, saber si un problema sube o baja es importante porque nos dice cuál es la magnitud del problema, es una información relevante. Pero no nos dice nada sobre el impacto del programa. Finalmente hemos pedido que salgan a saludar los protagonistas de esta historia. Por un lado tenemos el outcome y la medida del outcome. En esta caso, la participación en el mercado laboral. Por otro lado tenemos el programa, lo que se ha hecho y para lo cual queremos estimar el impacto. Tenemos el factual, lo que ha ocurrido con nuestro outcome a partir del momento en que hemos hecho el programa. Tenemos el contrafactual, que es lo que hubiera ocurrido en ausencia de nuestro programa o política. Tenemos el impacto, que es la diferencia entre el factual y el contrafactual y en el mejor de los mundos, tendríamos una decisión basada en esta información. Aquí están para saludar al público que tanto les quiere. you lo habéis visto, lo que ha pasado por sí solo es importante, pero no nos dice nada sobre la efectividad del programa. Nada significa nada. Es decir, que para una misma evolución del problema, para un mismo número de parados, para un mismo lo que ha pasado, el impacto del programa puede haber sido positivo o negativo o nulo, es decir, tres cosas completamente distintas porque el impacto del programa se deriva de la comparación entre lo que ha pasado, el factual y lo que hubiera pasado, el contrafactual. Hemos dicho en el título de esta presentación que el contrafactual era un concepto interesante pero que tenía funestas consecuencias. ¿Cuáles son estas consecuencias tan funestas? La primera consecuencia es que no existe nada a lo que podamos llamar propiamente indicadores de impacto. Aunque tengamos un muy buen indicador para capturar un problema, cuando este indicador sube no podemos decir que el problema es más grande y por tanto estamos haciendo mal nuestro trabajo. Y cuando baja decir: el problema es más pequeño y por tanto estamos haciendo bien nuestro trabajo. Porque hemos visto que los problemas se hacen grandes o se hacen pequeños por muchos motivos aparte de nuestro programa o política pública. Por tanto, necesitamos aislar el impacto de lo que hemos hecho de todo este ruido de fondo y para esto hace falta análisis. No solamente seguir los indicadores, lo que no quiere decir que los indicadores no sean muy importantes. El segundo problema que se deriva del concepto contrafactual es que muchas veces es demasiado tarde para hacer una evaluación o una estimación de impacto. Esto es así porque para hacer una estimación bien robusta necesitamos cierta información y necesitamos también tener información no sobre, no solo sobre los participantes sino también sobre algunos no participantes. Y esto, si no lo decidimos desde el principio del programa es muy difícil que ex post lo podamos hacer bien. Esto es un gran problema porque muchas veces el encargo para hacer una evaluación de impacto llega cuando el programa o política you ha terminado o cuando lleva mucho tiempo en funcionamiento. Esto es para que os ponga una metáfora un poco tonta, como si yo decidiera que quiero estar muy delgado en verano y por tanto me pongo a hacer régimen desde hoy. Y durante muchos meses me privo de hacer muchas cosas que me gustan y como muy poco y como cosas que son realmente insípidas. Y cuando llega el momento de verano y quiero saber si lo he hecho bien, si mi programa ha funcionado, me pongo encima de una báscula, veo que peso 75 kilos y me pregunto, ¿me he adelgazado? Pero resulta que me he olvidado de pesarme antes de empezar el régimen. Ahora you nunca lo voy a saber. El tren ha pasado. Da igual si me compro una báscula de precisión nuclear. Da igual si contrato a un físico que tenga el premio Nobel. Nunca voy a saber cuánto pesaba yo al principio, antes de empezar el programa. Por tanto nunca voy a tener una estimación robusta de cuánto me he adelgazado. Me tendré que fiar de estimaciones indirectas. Me tendré que fiar, por ejemplo, de si la gente me dice que me ve más delgado. Me tendré que fiar de si me cuesta un poco más ponerme el cinturón o un poco menos que antes. Esto es lo que se hace:,estimaciones indirectas, estimaciones imperfectas porque la estimación precisa no es posible si antes de empezar el programa no se han tomado ciertas medidas. La mejor evaluación de impacto, aunque sea ex post (después del programa), es aquella que se ha empezado a pensar ex ante, antes de empezar el programa. Y hay aún una tercera consecuencia funesta y esta sí que es realmente mala. Y es que hay algunos programas, hay algunos, algunas políticas que nunca tendrán una respuesta concluyente sobre si han tenido impacto o no porque no hay manera posible de construir una hipótesis contrafactual sólida. Esto pasa, por ejemplo, con las personas que se dedican a estudiar si la ayuda económica internacional a los países en desarrollo ha tenido algún impacto sobre el desarrollo, sobre distintos indicadores del desarrollo como el crecimiento económico, como la escolarización de los niños, etcétera. Esto es así porque no tenemos mundos paralelos en que los países más industrializados hayan podido hacer o no hacer esas transferencias para poder comparar. En este caso, el debate continuará. Siempre habrá, siempre habrá intentos de hacer estimaciones de impacto, pero estas estimaciones siempre serán, siempre tendrán algún tipo de componente que las hace vulnerables a sesgos y por tanto no del todo robustas. Así que el contrafactual es un concepto muy interesante pero tiene tres consecuencias que debemos tener siempre en mente. La primera es que no todos los programas y políticas podemos saber con certeza, con robustez si han tenido impacto o no y la magnitud de este impacto. La segunda consecuencia es que para estimar bien los impactos en los programas en que se puede hacer, se necesita pensar en ello desde el principio con ciertos años de antelación. Y el tercero, es que para estimar impacto se necesita hacer análisis que suele ser un poco, Aunque no mucho, pero un poco complejo y no se puede hacer solamente siguiendo ciertos indicadores que al subir o bajar nos digan si el programa ha tenido o no ha tenido impacto.
