Cette semaine, nous allons explorer les modèles séquence à séquence dans le traitement du langage naturel (NLP), en commençant par les architectures basées sur les réseaux neurones récurrents (RNN) et l'introduction de mécanismes d'attention pour améliorer l'alignement dans des tâches telles que la traduction automatique. Le module couvre également les meilleures pratiques pour l'entraînement des réseaux neurones, y compris la régularisation, les stratégies d'optimisation et l'entraînement efficace des modèles. À la fin de la semaine, vous acquerrez une expérience pratique dans la mise en œuvre et l'entraînement de modèles séquence à séquence.

Cette semaine explore les techniques d'Apprentissage par transfert dans le NLP, en se concentrant sur le pré-entraînement, le réglage fin et les modèles multilingues. Vous examinerez d'abord le rôle des modèles de langage pré-entraînés tels que GPT, GPT-2 et BERT, ainsi que leurs défis. Nous explorerons ensuite l'entraînement multitâche et l'Augmentation des données, en mettant en évidence des stratégies telles que le partage des paramètres et la pondération des pertes pour améliorer la généralisation des modèles à travers les tâches. Enfin, vous plongerez dans l'apprentissage par transfert interlinguistique, en explorant des méthodes telles que translate-train vs. translate-test, ainsi que l'apprentissage zéro-coup, un-coup et quelques-coups pour le NLP multilingue.

Cette dernière semaine présente les grands modèles de langage (LLM) et la manière dont ils peuvent être utilisés efficacement grâce à des techniques telles que l'ingénierie de requête, l'apprentissage en contexte et le réglage fin efficace des paramètres. Vous explorerez les modèles de langage et de vision, en comprenant comment les architectures multimodales s'étendent au-delà du texte pour intégrer la visualisation et d'autres modalités de données. Nous examinerons également les propriétés non fonctionnelles des serveurs d'authentification, y compris les défis tels que les hallucinations, l'équité, l'efficacité des ressources, la confidentialité et l'interprétabilité.