Prompt Engineering wird nicht nur in Textmodellen, sondern auch in Bildverarbeitungsmodellen eingesetzt. In diesem Kurs werden Sie lernen, wie man verschiedene Bildverarbeitungsmodelle wie Metas Segment Anything Model (SAM), ein universelles Bildsegmentierungsmodell, OWL-ViT, ein Zero-Shot-Objekterkennungsmodell, und Stable Diffusion 2.0, ein weit verbreitetes Diffusionsmodell, promptet. Sie werden auch eine Fine-Tuning-Technik namens DreamBooth verwenden, um ein Diffusionsmodell so abzustimmen, dass ein Textetikett mit einem Objekt Ihrer Wahl assoziiert wird. Im Einzelnen werden Sie Folgendes erkunden: 1. Bilderzeugung: Prompt mit Text und durch Anpassung von Hyperparametern wie Stärke, Skalierung der Anleitung und Anzahl der Inferenzschritte.

2. Bildsegmentierung: Prompt mit positiven oder negativen Koordinaten und mit Bounding-Box-Koordinaten. 3. Objekterkennung: Prompt mit natürlicher Sprache zur Erstellung eines Begrenzungsrahmens, um bestimmte Objekte in Bildern zu isolieren. 4. In-Painting: Kombinieren Sie die oben genannten Techniken, um Objekte innerhalb eines Bildes durch generierte Inhalte zu ersetzen. 5. Personalisierung mit Fine-Tuning: Erzeugen Sie benutzerdefinierte Bilder auf der Basis von Bildern von Personen oder Orten, die Sie zur Verfügung stellen, mit einer Fine-Tuning-Technik namens DreamBooth. 6. Iteration und Verfolgung von Experimenten: Prompting und Hyperparameter-Tuning sind iterative Prozesse, und daher kann die Verfolgung von Experimenten helfen, die effektivsten Kombinationen zu identifizieren. In diesem Kurs wird Comet verwendet, eine Bibliothek zur Verfolgung von Experimenten und zur Optimierung von visuellen Prompt Engineering Workflows.