[MUSIQUE] [MUSIQUE] Je suis Arthur Heim, je suis chef de projet à la Caisse Nationale des Allocations Familiales et doctorant à l'École d'économie de Paris. Pour moi, les principales difficultés dans la mise en oeuvre d'une mesure d'impact social, c'est d'adapter les méthodologies de recherche aux questions évaluatives que l'on va se poser. Je vais vous illustrer mon discours à partir d'un exemple, un programme d'évaluation d'impact social qu'on a mis en place en Meurthe-et-Moselle, qui s'appelle Reliance, qui est un programme à destination des chefs de familles monoparentales bénéficiaires du RSA depuis plus de deux ans, et qui vise à les accompagner pour reprendre une activité durable. Et la question qui se pose derrière est de savoir si les coûts évités, les prestations sociales qui seront économisées si le programme est efficace sont suffisantes et dans quelles conditions pour compenser les coûts de l'accompagnement renforcé auquel les bénéficiaires vont avoir le droit. Par rapport à ces questions, on a deux aspects. Est-ce que c'est efficace pour la reprise d'activité durablement? Est-ce que les coûts sont compensés par les économies de prestations sociales? Et par ailleurs, on a d'autres questions sur, est-ce qu'il y a d'autres effets que l'effet sur l'emploi? Est-ce que les gens se sentent mieux, plus en capacité d'agir, et d'être autonomes et d'être maîtres de leur destin? Une autre difficulté, c'est celle d'interpréter ces résultats comme un lien de cause à effet. Est-ce qu'on est sûr que les résultats qu'on va observer en termes d'emploi sont permis uniquement grâce au dispositif, ou est-ce que de toute façon les gens auraient un peu naturellement repris une activité? Et donc on cherche à savoir la véritable plus-value de ce programme par rapport à une estimation alternative, qu'on va appeler contrefactuelle, qui serait l'état du monde si on n'avait pas aidé ces personnes. Et la dernière question et les complications par rapport à ça, c'est de disposer des informations nécessaires pour répondre à ces questions, et s'assurer qu'on va être capables d'avoir les données suffisantes pour répondre à ces questions, et du coup de déterminer les conditions pour les avoir. Pour prévenir ces difficultés, cela nécessite déjà de réfléchir à l'évaluation très en amont de la mise en place du projet. Si on intervient trop tard, si le projet est déjà en cours, on va avoir beaucoup plus de difficultés à mettre en place les conditions nécessaires à une évaluation de qualité. Cela ne veut pas dire que c'est impossible, mais ça peut être beaucoup plus compliqué. Donc, la première chose, c'est de bien anticiper ces risques-là . Ensuite, pour définir un cheminement général de la mise en place d'une évaluation d'impact social, la première chose est de clairement définir les objectifs du projet et de dérouler ensuite les questions évaluatives qui sont associées à ces objectifs. Les questions évaluatives doivent permettre de faire émerger des besoins en termes de données, en termes de méthode, de faire apparaître la temporalité de la mise en oeuvre du projet, de la temporalité de l'apparition de ses effets, et des conditions dans lesquelles on sera en capacité de mesurer ses effets lorsqu'ils existent. Ensuite, face à ces questions évaluatives, j'insistais déjà un petit peu dessus plus tôt, il est important d'adopter un design de recherche qui corresponde aux questions évaluatives posées. Pour moi, l'un des facteurs clés de succès d'une évaluation de ce type, c'est de vraiment adapter les données collectées à la question posée, de s'assurer que vous avez tout ce qu'il faut pour éviter d'être déçus à la fin, d'avoir lancé quelque chose de très ambitieux et d'être incapables de conclure parce que, en réalité, vous n'avez pas suffisamment d'observations. Donc faire très attention aux enjeux de puissance statistique. [MUSIQUE]
