L'ingénierie de requête est utilisée non seulement dans les modèles de texte, mais aussi dans les modèles de vision. Selon le modèle de vision, ils peuvent utiliser des invites textuelles, mais peuvent également travailler avec des coordonnées de pixels, des boîtes de délimitation ou des masques de segmentation. Dans ce cours, vous apprendrez à inviter différents modèles de vision comme le Segment Anything Model (SAM) de Meta, un modèle de segmentation d'image universel, OWL-ViT, un modèle de détection d'objets sans prise de vue, et Stable Diffusion 2.0, un modèle de diffusion très répandu. Vous utiliserez également une technique de réglage fin appelée DreamBooth pour ajuster un modèle de diffusion afin d'associer une étiquette de texte à un objet de votre choix. En détail, vous explorerez : 1. Génération d'images : Invitez avec du texte et en ajustant les hyperparamètres comme la force, l'échelle de guidage et le nombre d'étapes d'inférence.

2. Segmentation d'images : Demande de coordonnées positives ou négatives, et de coordonnées de la boîte englobante. 3. Détection d'objets : Invitation en langage naturel à produire une boîte englobante pour isoler des objets spécifiques dans des images. 4. In-painting : Combiner les techniques ci-dessus pour remplacer les objets d'une image par du contenu généré. 5. Personnalisation avec réglage fin : Générer des images personnalisées basées sur des photos de personnes ou de lieux que vous fournissez, en utilisant une technique de réglage fin appelée DreamBooth. 6. Itération et suivi des expériences : L'incitation et le réglage des hyperparamètres sont des processus itératifs, et le suivi des expériences peut donc aider à identifier les combinaisons les plus efficaces. Ce cours utilisera Comet, une bibliothèque permettant de suivre les expériences et d'optimiser les flux de travail d'ingénierie de requête visuelle.