In diesem Modul wird untersucht, wie KI-Prozesse visuelle Daten durch die Integration von Bildern und Videos mit Text erzeugen. Sie werden Text-zu-Bild/Bild-zu-Text- und Text-zu-Video/Video-zu-Text-Modelle, Bildunterschriften und die für effektive multimodale KI-Systeme erforderlichen Fusionstechniken untersuchen. In praktischen Übungen werden Sie modernste Modelle wie DALL-E und Sora anwenden, um Bilder und Videos aus Text-Prompts zu generieren. Darüber hinaus werden Sie ein Bildunterschriftssystem mit Metas Llama 4 implementieren und so praktische Erfahrungen mit der Kombination von Bildverarbeitungs- und Sprachmodellen für reale Anwendungen sammeln.

Das letzte Modul erforscht fortgeschrittene multimodale KI-Anwendungen, die Bild-, Text- und Retrieval-basierte Systeme integrieren, um innovative Lösungen zu entwickeln. Sie tauchen ein in multimodales Retrieval und Suche, multimodale Fragebeantwortung (QA) und Chatbots und lernen, wie multimodale Retrieval-Techniken Suchmaschinen und Empfehlungssysteme verbessern. Außerdem lernen Sie, wie die Integration von visuellen und textuellen Daten die Interaktion mit Chatbots verbessert. Durch praktische Übungen werden Sie voll funktionsfähige Webanwendungen mit multimodalen Fähigkeiten unter Verwendung von Flask erstellen und dabei modernste Modelle und Frameworks anwenden