Dans Pretraining LLMs, vous explorerez la première étape de la formation de grands modèles de langage à l'aide d'une technique appelée pretraining. Vous apprendrez les étapes essentielles pour pré-entraîner un LLM, comprendrez les coûts associés et découvrirez comment commencer avec de plus petits modèles Open Source existants peut être plus rentable. Le pré-entraînement consiste à apprendre à un LLM à prédire le prochain token en utilisant de vastes ensembles de données textuelles, ce qui donne un modèle de base, et ce modèle de base nécessite un réglage plus fin pour une performance et une sécurité optimales. Dans ce cours, vous apprendrez à pré-entraîner un modèle à partir de zéro et aussi à prendre un modèle qui a déjà été pré-entraîné et à continuer le processus de pré-entraînement sur vos propres données.

En détail : 1. Explorer les scénarios où le pré-entraînement est le choix optimal pour la performance du modèle. Comparez la génération de texte à travers différentes versions du même modèle pour comprendre les différences de performance entre les modèles pré-entraînés de base, affinés et spécialisés. 2. Apprenez à créer un ensemble de données de formation de haute qualité à l'aide de textes Web et d'ensembles de données existants, ce qui est essentiel pour une préformation efficace des modèles. 3. Préparer votre ensemble de données nettoyées pour l'entraînement. Apprenez à conditionner vos données d'entraînement pour les utiliser avec la bibliothèque Hugging Face. 4. Explorer les différentes façons de configurer et d'initialiser un modèle pour la formation et voir comment ces choix influencent la vitesse de préformation. 5. Apprenez à configurer et à exécuter un cycle de formation, ce qui vous permettra de former votre propre modèle. 6. Apprendre à évaluer la performance de votre modèle entraîné et explorer les stratégies d'évaluation communes pour les LLM, y compris les tâches de référence importantes utilisées pour comparer la performance de différents modèles. Après avoir suivi ce cours, vous serez équipé des compétences nécessaires pour pré-entraîner un modèle, de la préparation des données et de la configuration du modèle à l'évaluation des performances.