Cette semaine met l’accent sur le fait que les prompts et l’échantillonnage orientent le comportement sans modifier le modèle sous-jacent. En revenant brièvement sur des concepts abordés précédemment, tels que les transformateurs et les architectures génératives multimodales, les apprenants replacent les prompts dans le contexte plus large de l’IA tout en restant concentrés sur le contrôle pratique. La semaine se termine par une question clé : si les utilisateurs peuvent façonner le comportement de manière aussi efficace au moment de l’inférence, comment le modèle apprend-il, au départ, ce qu’est un « bon » comportement ? Cette question mène directement à l’exploration, la semaine suivante, de l’entraînement, de l’apprentissage par renforcement et du réglage fin.

Cette semaine est consacrée à l’apprentissage par renforcement à partir du retour d’information humain (RLHF) et aux modèles d’évaluation en tant que mécanismes permettant d’intégrer les préférences, l’alignement et le style dans les systèmes génératifs. Les apprenants examinent comment le retour d’information façonne le comportement des modèles, pourquoi le RLHF s’est révélé si efficace, et pourquoi il peut également contribuer à des problèmes tels que les hallucinations et le désalignement des récompenses. La semaine s’achève en recentrant l’attention sur la phase d’inférence, en s’interrogeant sur la manière dont des invites structurées et des ressources de calcul supplémentaires peuvent permettre aux modèles de raisonner, de réviser et d’affiner leurs résultats sans réentraînement, préparant ainsi le terrain pour l’étude des échafaudages de raisonnement et de la chaîne de pensée la semaine suivante.

Cette semaine est consacrée au calcul au moment de l’inférence et aux structures de raisonnement telles que la « chaîne de pensée » et les invites étape par étape, en soulignant comment de larges fenêtres de contexte permettent aux modèles de « réfléchir à la page ». Plutôt que de produire une réponse unique, les modèles peuvent remplir la fenêtre de contexte avec des étapes intermédiaires, ce qui leur permet d’intégrer un retour d’information dans leur propre raisonnement et d’améliorer leur précision sur des tâches complexes. Cette semaine souligne que ce processus n’implique ni apprentissage ni mise à jour des paramètres. Au contraire, le raisonnement émerge de la structure, du contexte supplémentaire et de la capacité à revenir sur des étapes antérieures au sein d’une même invite. Les apprenants explorent comment l’autocritique, la révision et les invites itératives tirent parti des larges fenêtres de contexte pour affiner les résultats sans réentraînement. La semaine s’achève par un passage des stratégies de raisonnement individuelles à une comparaison plus large, préparant les apprenants à examiner comment différents modèles raisonnent, effectuent la spécialisation et fonctionnent d’une tâche à l’autre, ce qui mène directement à l’étude des modèles open source, des architectures de « mélange d’experts » et de l’évaluation systématique au cours de la semaine suivante.

Cette semaine est consacrée à la présentation de l'écosystème des modèles open source et des architectures de type « Mixture of Experts », en s'appuyant sur des modèles tels que Mistral pour illustrer comment la spécialisation et le routage peuvent améliorer les performances sans recourir à un modèle monolithique unique. Les apprenants relient ces idées aux discussions précédentes sur le réglage fin, en observant comment différentes approches façonnent le comportement et les capacités de manière complémentaire. La semaine aborde ensuite l’évaluation et les tests comparatifs comme des pratiques essentielles pour comprendre les atouts, les limites et les compromis des modèles. Les apprenants examinent l’histoire des tests comparatifs pour constater à quelle vitesse les modèles de pointe ont progressé, passant de performances supérieures aux tests de référence destinés aux élèves du primaire à des performances dépassant celles des experts lorsqu’ils sont associés à des outils. Des concepts tels que l’alignement, la dérive d’alignement et le « reward hacking » sont présentés à travers des exemples, notamment la loi de Goodhart, afin de montrer pourquoi l’évaluation doit évoluer parallèlement aux capacités des modèles. La semaine se termine en mettant en avant des considérations pratiques concernant la propriété des données, les limites de la propriété intellectuelle et les contraintes de déploiement — en particulier dans les environnements open source —, préparant ainsi le terrain pour la semaine suivante, qui sera consacrée à l’utilisation des outils, à la mémoire et aux systèmes fonctionnant sur la durée.

Cette semaine est consacrée à l'utilisation des outils et montre comment les modèles font appel à des calculatrices, à des moteurs de recherche, à des API et à des systèmes de génération augmentée par la recherche pour accéder à des capacités externes. L'utilisation d'outils marque une transition clé du raisonnement passif vers un comportement orienté vers l'action, où les modèles ne fonctionnent plus uniquement à partir de leurs données d'entraînement ou de leur fenêtre contextuelle. Cette semaine aborde également la mémoire et la persistance du contexte, en examinant comment le contexte à court terme, le stockage à long terme et la synthèse permettent aux systèmes de fonctionner à travers plusieurs interactions plutôt que par le biais de requêtes isolées. Les apprenants explorent des heuristiques d’évaluation de base qui aident à contrôler la fiabilité à mesure que les systèmes gagnent en complexité. Ensemble, les outils et la mémoire permettent aux systèmes d’IA de maintenir une continuité dans le temps, préparant ainsi le terrain pour les applications concrètes et les considérations éthiques abordées la semaine suivante.

Cette semaine passe en revue les applications modernes dans des domaines tels que la génération de code, les flux de travail d’entreprise, l’amélioration de l’accessibilité et les médias créatifs (musique, parole, image, vidéo), en soulignant comment les systèmes d’IA agissent comme des multiplicateurs de productivité plutôt que comme des substituts. Elle aborde également la réflexion éthique au niveau individuel, en mettant l’accent sur ce que signifie travailler aux côtés de systèmes d’IA dans la pratique quotidienne. Les apprenants examinent les compromis liés à la cognition, à l’autonomie et à la dépendance, et participent à des discussions sur le paradoxe de la productivité de l’IA. « Chaque fois que vous interagissez avec une IA, prenez conscience que vous renoncez à quelque chose en échange. » Le cours se termine en invitant les apprenants à réfléchir à ce que l’IA peut apporter aujourd’hui dans leur domaine de prédilection, jetant ainsi les bases du projet de fin de formation du cours 2 et préparant le cours 3, où l’attention se déplace des capacités actuelles vers l’émergence d’agents et les implications de systèmes plus autonomes.