Les grands modèles de langage tels que GPT-3.5, qui alimente ChatGPT, changent la façon dont les humains interagissent avec les ordinateurs et la façon dont les ordinateurs peuvent traiter les textes. Ce cours présentera les idées fondamentales du traitement du langage naturel (NLP) et de la modélisation du langage qui sont à la base de ces grands modèles de langage. Nous explorerons les bases du fonctionnement des modèles de langage et les spécificités de la construction des nouvelles approches basées sur les neurones. Nous examinerons les principales innovations qui ont permis aux grands modèles de langage (LLM) basés sur le Transformateur de s'imposer dans la résolution de diverses tâches linguistiques. Enfin, nous examinerons les défis liés à l'application de ces grands modèles de langage (LLM) à divers problèmes, y compris les problèmes éthiques liés à leur construction et à leur utilisation.

Grâce à des exercices pratiques, nous découvrirons les éléments constitutifs des Transformateurs et les appliquerons à la génération de nouveaux textes. Ces exercices en Python vous permettront d'appliquer un modèle de langage plus petit et de comprendre comment il peut être évalué et appliqué à divers problèmes. Des quiz d'entraînement réguliers permettront de renforcer les connaissances et de vous préparer aux évaluations notées.