Multimodale Modelle wie Gemini verschieben die Grenzen des Machbaren, indem sie traditionell getrennte Datenmodalitäten zusammenführen. Mit Gemini können Sie Anwendungen entwickeln, die nahtlos Text, Bilder und Videos verstehen und schlussfolgern und so eine neue Klasse intelligenter Systeme ermöglichen. So können Sie z. B. einen virtuellen Innenarchitekten erstellen, der die Raumbilder eines Benutzers analysiert, seine Stilvorlieben anhand einer Textbeschreibung erkennt und personalisierte Designempfehlungen generiert. Oder die Erstellung einer intelligenten Dokumentenverarbeitungspipeline, die strukturierte Daten aus komplexen PDFs extrahieren, Fragen auf der Grundlage des Inhalts beantworten und menschenähnliche Zusammenfassungen generieren kann. Sie lernen Prompt Engineering-Techniken kennen, um das Verhalten von Gemini zu steuern und seine Leistung für verschiedene Anwendungsfälle zu optimieren, von der Erstellung kreativer Geschichten bis hin zum Schreiben analytischer Berichte. Außerdem erfahren Sie, wie Sie Gemini mit Hilfe von Funktionsaufrufen in externe APIs und Datenbanken integrieren können, um Ihre Anwendungen mit Echtzeitdaten und dynamischen Inhalten zu versorgen. Was Sie im Einzelnen lernen werden:

1. Einführung in Gemini-Modelle: Lernen Sie die Gemini-Modellfamilie kennen und verstehen Sie die wichtigsten Unterschiede und Anwendungsfälle für Gemini Nano, Pro, Flash und Ultra. Verstehen Sie, wie Sie optimale Modelle auf der Basis von Fähigkeiten, Latenzzeiten und Kostenüberlegungen auswählen. 2. Multimodales Prompting und Steuerung von Parametern: Lernen Sie fortgeschrittene Techniken zur Strukturierung effektiver Text-Bild-Video-Prompts, um das gewünschte Verhalten des Modells hervorzurufen. Fine-Tuning von Schlüsselparametern wie Temperatur, top_p, top_k, um die Kreativität des Modells gegenüber dem Determinismus zu kontrollieren. 3. Best Practices für multimodale Prompting: Sammeln Sie Erfahrungen mit dem Prompt Engineering für multimodale Modelle von Gemini und lernen Sie bewährte Verfahren für die Rollenzuweisung, Aufgabenzerlegung und Formatierung kennen. Analysieren Sie die Auswirkung der Anordnung von Prompt-Bildern auf die Leistung des Modells für verschiedene Objekte. 4. Erstellen von Anwendungsfällen mit Bildern: Erstellen Sie ansprechende multimodale Anwendungen wie Assistenten für die Inneneinrichtung und Tools für den Einzelverbindungsnachweis. Nutzen Sie die modusübergreifenden Argumentationsfähigkeiten von Gemini, um Beziehungen zwischen Entitäten über mehrere Bilder hinweg zu analysieren. 5. Entwickeln von Anwendungsfällen mit Videos: Implementieren Sie die semantische Videosuche "Nadel im Heuhaufen" mit Hilfe des großen Kontextfensters von Gemini. Erforschung von Techniken für die Qualitätssicherung von langen Videos und die Zusammenfassung von Inhalten. 6. Integration von Echtzeitdaten mit Funktionsaufrufen: Erweitern Sie Gemini mit externem Wissen und Live-Daten über Funktionsaufrufe und API-Integration. Kombinieren Sie Geminis Natural Language Understanding (NLU) Fähigkeiten mit APIs für aktuelle Fakten und interaktive Dienste. In diesem Kurs lernen Sie die Fähigkeiten von Gemini kennen und erfahren, wie Sie diese in verschiedenen Anwendungsfällen maximieren können. Außerdem erhalten Sie ein Portfolio praktischer Techniken für die Entwicklung fortgeschrittener multimodaler KI-Anwendungen. Bitte beachten Sie, dass dieser Kurs aufgrund technischer Anforderungen nur herunterladbare Notizbücher auf der Lernplattform enthält. Es steht Ihnen frei, diese Notizbücher herunterzuladen, zu prüfen und selbst auszuführen.