Hola. En este vídeo vamos a explicar qué es un experimento social. Para hacerlo tenemos aquí unos ingredientes. Unas judías blancas, como decimos aquí, o alubias, habichuelas, frijolitos, unas hueveras con tierra para plantar estas judías, una botella de fertilizante y una moneda. Y además una pregunta evaluativa, ¿sirve este fertilizante para hacer crecer estas plantas de habichuela? ¿Sí o no? Fijaros bien, las habichuelas son nuestro grupo objetivo. Tenemos un objetivo claro para ellas, que es que las plantas crezcan lo máximo posible, que se hagan muy grandes. Como que estamos hablando de habichuelas aquí no hay una construcción política del problema. Ellas no nos van a discutir el objetivo, que queremos que crezcan mucho, y esto supone un alivio. Aunque alguien quizá nos podría decir que lo más relevante no es tanto que la planta se haga muy grande sino que después produzca a su vez muchas habichuelas. Pero aquí lo vamos a dejar con este primer objetivo, queremos, nos interesa que la planta crezca lo máximo posible. El fertilizante es nuestra intervención, nuestro programa, nuestra política pública. También lo podemos llamar tratamiento, que es la palabra que se suele usar en el mundo de los experimentos. Y el objetivo que tenemos es además, se puede medir además de una forma válida. Pesando todas blancas, todas plantas de judía blanca acabado un tiempo de haberlas plantado y solo necesitaremos un báscula o balanza que sea fiable. Así que lo tenemos todo para poder plantearnos una pregunta de evaluación. Y la cuestión que nos queda por aclarar es qué método vamos a seguir para poder responder. Fijaros que no podemos simplemente poner las habichuelas aquí en tierra, ponerles el fertilizante a todas y al cabo de un tiempo pesarlas y a ver qué ha pasado. Pongamos que hiciéramos esto y que al cabo de un tiempo, de media pesaran un kilo, al cabo de un mes. No sabríamos si un kilo es mucho o es poco, tampoco sabríamos si el fertilizante ha tenido algo que ver en que llegaran a pesar un kilo. Por tanto lo que vamos a hacer es lo que se hace en estas ocasiones, que es crear un grupo de comparación al que no le vamos a echar fertilizante. Pero fijaros también un cosa que es bastante importante, es que las habichuelas no crecen sólo por efecto del fertilizante, también cuenta la genética. Todas las semillas son genéticamente distintas y unas están más predispuestas a crecer que otras. Imaginad por ejemplo que estas semillas que yo, que he recogido vienen de unas pocas plantas, no las puedo separar de cualquier manera, porque entonces quizá en un grupo, el de tratamiento o el de control, me quedan una mayoría de semillas que son hijas de una planta muy grande, predispuestas a crecer mucho, y otras que son hijas de una planta pequeña, predispuestas a crecer poco. Si esto fuera así, mi comparación entre los dos grupos estaría sesgada. No sabríamos si la diferencia en el peso de las plantas al cabo de un tiempo se debe al efecto del fertilizante o se debe a las diferencias genéticas que había entre ellas you desde el principio. Es lo que antes hemos llamado el sesgo de selección. Por tanto me interesa hacer dos grupos que sean, en promedio, genéticamente iguales. ¿Cómo hacerlo? Aquí es donde entra la moneda. Voy a coger unas semillas y una a una voy a determinar si sale cara que va en el grupo de tratamiento, o si sale cruz si van al grupo de control. Aquí es importante no confundirse y por tanto para esto he hecho estos dos cartelitos. Este va a ser el grupo de tratamiento y este va a ser el grupo de control. Cogemos esta semilla, tiramos la moneda, si sale cara irá a control, si sale cruz irá a tratamiento. Me ha salido cruz, por tanto va a tratamiento. Cogemos una segunda semilla, hacemos lo mismo, si sale cara a control, si sale cruz a tratamiento. Me ha salido cruz, otra vez a tratamiento. Cogemos una tercera semilla, tiramos la moneda, ha salido esta vez cara, por tanto va a control. you están todas. A esto que acabo de hacer se le llama asignación aleatoria. No confundir con el muestreo aleatorio, que sería coger aquí un grupito de alubias de este plato. La virtud que tiene este sistema es que al construir los dos grupos por un mecanismo aleatorio, la moneda, pero podría haber sido un algoritmo informático, los dos grupos son en promedio iguales para las cosas que podría medir, por ejemplo, el peso de las semillas, pero también para todas las cosas que no está a mi alcance medir, por ejemplo, la genética de las semillas. Ahora tengo, sé que tengo dos grupos idénticos. A unos les voy a poner el fertilizante y a los otros no. Fijaros que para que el experimento salgo bien hay una segunda condición. Que es exponer las dos hueveras a las mismas condiciones de sol y agua. Porque estos factores externos también influyen en el crecimiento de la planta. Si estuvieran en condiciones distintas, pongamos el tratamiento al sol y las, el control a la sombra, no sabríamos si la diferencia en el peso es debido al fertilizante o diferencia en lo que antes hemos llamado factores externos o historia, que me estarían sesgando el experimento. Pues bien, hemos hecho el experimento y aquí tenemos los resultados. Han pasado dos meses, hemos arrancado las plantas, las hemos pesado y hemos comprobado, que en promedio, las del grupo de tratamiento pesaban 1,3 kilos, y las del grupo de control un kilo. Fijaros que esta diferencia de 300 gramos no la puedo atribuir a diferencias previas genéticas por ejemplo, entre los dos grupos de semillas. Porque la asignación ha sido aleatoria, y por tanto estoy seguro que los dos grupos son en promedio, idénticos. Tampoco lo puedo atribuir a los factores externos o historia, porque las dos hueveras han estado juntas todo el tiempo, expuestas al mismo sol y agua. Por tanto solo puedo atribuir esta diferencia de peso de las plantas a la única diferencia entre los dos grupos, el tratamiento, en este caso el fertilizante. En otras palabras, puedo inferir que el fertilizante ha sido la causa del incremento promedio de 300 gramos en el peso de las plantas. you está hecho, ahora you sabéis qué es un experimento y sabéis que no consiste en hacer cosas extrañas, sino que se fundamente en un mecanismo que es muy simple, la asignación aleatoria de los candidatos a participar en el tratamiento o en el grupo de control. De hecho esto es lo mismo que hacen los médicos para testar si un fármaco, si un medicamento funciona. También es lo mismo que hace Amazon para saber qué presentación de la información de su web induce a comprar más. Por esto expone aleatoriamente a sus clientes a distintos formatos de estructura de la web. Ciertos científicos sociales se han propuesto aplicar este método tan robusto a las políticas públicas. Porque no se preguntan, cuando no sabemos si un diseño de una interacción, de una intervención funciona para conseguir unos determinados outcomes, por qué no hacer una prueba piloto con asignación aleatoria, al grupo de tratamiento y control y ver qué pasa. ¿Funciona? Generalizamos el programa a todo el mundo. ¿Que no funciona? Lo dejamos estar y seguimos pensando en alternativas, en innovaciones para intentar solucionar este problema. De hecho esto hace años que se está haciendo. Por ejemplo, en el Reino Unido han hecho un experimento para ver qué formato de carta funciona mejor para quienes se han retrasado en pagar sus impuestos. El objetivo es que paguen. Entonces a unos se les expone a una carta que hace referencia a posibles sanciones, y a otros a una carta que hace referencia a responsabilidad social de pagar los impuestos. Y se ve después a ver cuáles pagan más, cuál de los dos grupos. En Estados Unidos se han hecho, por ejemplo experimentos para ver los defectos de la educación preinfantil en el desarrollo cognitivo de los niños. Y en México se realizó hace años un experimento muy famoso para comprobar si entregar una renta a las familias que viven bajo el umbral de la pobreza condicionando esta renta a ciertos comportamientos, que los hijos vayan a la escuela, que realicen ciertos controles médicos, que participen en determinados programas nutricionales, para ver si este tipo de programa mejoraba o no ciertos outcomes infantiles. La inscripción escolar, la asistencia a la escuela, el estado de salud, fundamentalmente. ¿Qué os parece la idea? ¿Qué ventajas le encontráis? ¿Qué inconvenientes? La gran ventaja es que es un método muy robusto para conocer si un determinado programa tiene impacto sobre un determinado objetivo, o cierto número reducido de objetivos. Esto es especialmente útil cuando nos hallamos en aquel cuadrante del cuadro de Ismael Blanco en que estamos bastante de acuerdo sobre cuál es el objetivo y en cambio no sabemos cuál es la tecnología, el diseño de la política pública que nos permite conseguir el objetivo. Por eso le llamaba también el cuadrante de la experimentación. Aunque se le ha llamado el estándar de oro de la evaluación, el sistema más robusto, también está sujeto a críticas. Vamos a repasarlas rápidamente. La primera crítica es que no es ético experimentar con personas. Y esta es un crítica que tiene una parte superficial y otra de más profunda. La superficial es la idea de que un experimento consiste en manipular a las personas en aras del conocimiento y que esto es inadmisible. Sin embargo, cabe recordar que esto es lo que hacen los médicos que efectivamente están jugando con la vida de las personas para obtener el conocimiento. La cuestión es que hay circunstancias en las que podríamos alegar que es más ético conocer si el programa es eficaz antes de tomar la decisión de generalizarlo a toda la población, que gastar un montón de dinero en hacer un programa que sea universal pero ineficaz, o quizás peor que ineficaz, que tenga efectos negativos. Y esto además nos impediría usar este mismo dinero y estos recursos para hacer algo que efectivamente resolviera el problema. Pero hay una parte de la crítica que es más profunda, que es que efectivamente a personas que tiene problemas graves, como por ejemplo falta de acceso al agua potable, pobreza económica, abandono escolar, a estas personas no se las puede dejar artificialmente sin nada solo para conocer si nuestra solución es efectiva. Sin embargo aquí hay dos cosas a tener en cuenta. La primera es que rara vez un experimento social consiste en tratamiento contra nada, que es lo que hemos hecho en el caso en el caso del fertilizante. Muchas veces los experimentos sociales consisten en comparar la alternativa a contra una alternativa de programa b, en la que a menudo a es la innovación y b es el status quo, lo que se estaba haciendo hasta ese momento. En estos casos el experimento no nos dice cuán efectivo es un programa respecto no actuar sino cuán más efectivo es una innovación en el diseño del programa respecto lo que estábamos haciendo hasta ese momento. La segunda cosa a tener en cuenta es que muchas veces no hace falta nada. No hace falta hacer nada extraño para que haya gente que se quede sin participar en un programa. Cuando un programa tiene más candidatos a participar que plazas o cuando la implementación es progresiva, de manera que no todas las personas participan desde el primer año, sino que cada año van entrando un cierto número de personas, hasta que finalmente, o escuelas o municipios, hasta que finalmente participan todos, entonces hay no beneficiarios, es decir gente que queda fuera del programa espontáneamente, al margen de que se haga o no se haga un experimento. El mayor motivo en general para quedar fuera del programa no son las restricciones impuestas por un experimento sino las restricciones presupuestarias, no hay dinero para hacer el programa más grande. En estos casos solo se trata de introducir el mecanismo de asignación aleatoria entre los candidatos a participar en el calendario de entrada en el programa para poder hacer un experimento. Otra crítica es que es caro. Pero esto depende, porque el coste de hacer un experimento se debería comparar con el coste de no hacerlo, que muchos veces consiste en desarrollar un programa, que puede ser realmente caro sin estar seguros sobre si funciona o no funciona. Por tanto depende de cuánto está en juego para determinar si el experimento es caro o no. Una tercera crítica es que no es factible para todas las políticas. Y esto es cierto, aunque es más una limitación que una crítica. Determinados tipos de políticas, por ejemplo las que se quieren evaluar cuando you están en funcionamiento, y por tanto es imposible hacer asignación aleatoria, o las que no permiten dejar gente sin exponer al programa, por ejemplo un impuesto, no podemos hacer un ensayo en unas personas van a estar expuestas a un incremento de impuestos y otras no, esto es imposible, no se puede hacer. En estos casos tampoco se puede hacer un experimento. Y tampoco se puede hacer en los casos en los que el objetivo que estamos buscando es muy difícil de medir. En estos casos, you no los experimentos sino cualquier tipo de método cuantitativo es de difícil aplicación. Finalmente cabe recordar que los experimentos son un diseño muy robusto para llegar a conocer si un programa funciona o no. Pero que su implementación exige estar muy vigilante porque las cosas se pueden estropear. Tirar la moneda es fácil. Usar un mecanismo de asignación aleatoria informático es fácil para decidir quién va al grupo de control y quién va al grupo de tratamiento. Pero fijaros en una cosa, las alubias, las habichuelas no se mueven. He puesto unas a tratamiento y otras a control y estoy seguro que aquí se van a estar. En cambio las personas se mueven, algunas que les puede haber tocado el grupo de control están muy interesadas en participar en el programa y entonces piden estar en esta huevera de aquí. Y a lo mejor hay alguien que está trabajando en la gestión del programa que les dice va, tú sí. Esto es un problema, la contaminación entre grupos porque se cruzan. Alguien a quien le había tocado ser control acaba en tratamiento y alguien que había, le había tocado ser tratamiento acaba en control. Que no se cumpla, que no se ejecute, que no se implemente bien la asignación aleatoria es un problema grande.
