Le cours " Fine-Tuning Image Models with Diffusion " est conçu pour les développeurs, les ingénieurs et les concepteurs de produits techniques qui découvrent l'IA générative mais qui ont déjà des connaissances intermédiaires en apprentissage automatique, une maîtrise de base de Python et une familiarité avec les environnements de développement tels que VS Code, et qui veulent concevoir, personnaliser et déployer des solutions ouvertes d'IA générative tout en évitant le verrouillage des fournisseurs. Le cours donne aux apprenants une expérience pratique de l'adaptation des modèles génératifs d'images pour des styles et des applications personnalisés. Le cours commence par les fondements des modèles de diffusion, en expliquant les processus de diffusion avant et arrière et en explorant les composants clés des architectures de diffusion stable, y compris U-Net, VAE et les encodeurs de texte. Les apprenants appliquent ensuite des techniques d'adaptation de faible rang (LoRA) pour s'entraîner efficacement sur du matériel grand public, en comparant les performances et les compromis avec un réglage fin complet. Dans le deuxième module, les apprenants mettent en œuvre DreamBooth, une méthodologie de formation sur des ensembles de données limités pour personnaliser les modèles avec des concepts et des styles artistiques personnalisés. Les apprenants s'exercent à la préparation des ensembles de données, au réglage des hyperparamètres et à la gestion des points de contrôle tout en préservant la généralisation du modèle.

Le troisième module présente ComfyUI, où les apprenants conçoivent et exécutent des flux de travail basés sur des nœuds qui intègrent des modèles affinés avec des extensions avancées telles que ControlNet. Et, dans le dernier module, les apprenants optimiseront des modèles de diffusion finement ajustés pour la production en ajustant systématiquement les paramètres d'inférence pour atteindre des compromis optimaux entre la qualité de l'image, la vitesse de génération et l'efficacité des ressources. A la fin du cours, les apprenants auront produit un modèle génératif de diffusion personnalisé, l'auront intégré dans les pipelines ComfyUI et l'auront optimisé pour la production d'images de qualité.