« Évaluer les grands modèles de langage (LLM) : tester et démontrer la pertinence » est une formation de niveau intermédiaire destinée aux ingénieurs en apprentissage automatique, aux professionnels de l’IA et aux data scientists chargés de démontrer la valeur des mises à jour des modèles. Lorsqu’il s’agit de prendre des décisions de déploiement à fort enjeu, un simple score de précision ne suffit pas. Cette formation vous fournit les méthodes statistiques nécessaires pour valider de manière rigoureuse les améliorations de performances des grands modèles de langage. Vous apprendrez à quantifier l’incertitude en calculant et en interprétant des intervalles de confiance, ainsi qu’à démontrer si les changements sont significatifs en réalisant des tests d’hypothèse formels, tels que le test du chi carré. Grâce à des travaux pratiques utilisant des bibliothèques Python telles que SciPy et Matplotlib, vous analyserez les résultats des modèles, testerez leur signification statistique et créerez des visualisations convaincantes avec des barres d’erreur qui communiqueront clairement vos conclusions aux parties prenantes. À l’issue de ce cours, vous serez en mesure d’aller au-delà des évaluations subjectives du type « ça semble mieux » pour affirmer avec certitude « nous pouvons prouver que c’est mieux », garantissant ainsi que chaque décision de déploiement s’appuie sur des preuves statistiques solides.