« Analyser les performances des agents : création et tests » est une formation de niveau intermédiaire destinée aux analystes de données, aux ingénieurs en apprentissage automatique et aux développeurs chargés d’optimiser les systèmes d’IA. Dans un monde où l’IA agentique est de plus en plus courante, il ne suffit pas de créer un agent : il faut prouver son efficacité. Ce cours vous apporte les compétences basées sur les données nécessaires pour mesurer, surveiller et améliorer les agents IA développés à l’aide de frameworks tels que LangChain, Autogen et CrewAI.

Vous apprendrez à transformer des journaux bruts et bruités en indicateurs clés de performance (KPI) exploitables en appliquant des techniques d’agrégation de données avec SQL et dbt. Grâce à des travaux pratiques, vous concevrez et mènerez des expériences A/B contrôlées, en comparant différentes versions d’agents afin d’identifier des améliorations significatives. Vous maîtriserez les méthodes statistiques fondamentales, notamment le test du chi carré, afin de déterminer si vos résultats sont statistiquement significatifs ou s’ils relèvent simplement du hasard. Vous serez en mesure d’aller au-delà de la simple corrélation pour établir un lien de causalité, et ainsi formuler des recommandations objectives et fondées sur des preuves concernant le déploiement d’améliorations pour les agents.