La formation « Préparation de textes pour les modèles d’IA » s’adresse aux développeurs, ingénieurs et responsables techniques de produits qui découvrent l’IA générative, mais qui possèdent déjà des connaissances intermédiaires en apprentissage automatique, une maîtrise de base de Python et une bonne connaissance des environnements de développement tels que VS Code, et qui souhaitent concevoir, personnaliser et déployer des solutions ouvertes d’IA générative tout en évitant la dépendance vis-à-vis d’un fournisseur.

Ce cours permet aux apprenants d’acquérir des compétences pratiques en matière de recherche, de prétraitement et de mise en forme d’ensembles de données pour l’entraînement de grands modèles linguistiques. En commençant par la découverte d’ensembles de données textuelles provenant de référentiels tels que Hugging Face, Kaggle et Common Crawl, les apprenants évaluent la qualité, la pertinence et les considérations relatives aux licences. Le cours aborde ensuite les pipelines de prétraitement, notamment les stratégies de nettoyage, de normalisation, de déduplication et de tokenisation du texte, afin de garantir l’efficacité et la compatibilité avec l’entraînement des modèles. Les apprenants conçoivent également des schémas d’annotation, appliquent des techniques d’étiquetage semi-automatisées et mettent en place des workflows de validation pour maintenir la qualité. Le dernier module guide les apprenants dans la construction d’ensembles de données structurés destinés à l’ajustement des instructions, au fin-tuning et à l’évaluation comparative, en s’appuyant sur les meilleures pratiques en matière de répartition entre ensembles d’entraînement et de test, ainsi que de stratification. À la fin du cours, les apprenants auront créé des ensembles de données textuelles prêts à l’emploi, adaptés aux applications d’IA générative.