Lernen Sie, wie man multimodale Such- und RAG-Systeme aufbaut. RAG-Systeme erweitern ein LLM, indem sie eigene Daten in den Kontext der Eingabeaufforderung einbeziehen. Normalerweise verwenden RAG-Anwendungen Textdokumente, aber was ist, wenn der gewünschte Kontext Multimedia wie Bilder, Audio und Video enthält? Dieser Kurs behandelt die technischen Aspekte der Implementierung von RAG mit multimodalen Daten, um dies zu erreichen. 1. Lernen Sie, wie multimodale Modelle durch kontrastives Lernen trainiert werden und implementieren Sie es auf einem realen Datensatz. 2. Aufbau einer multimodalen Any-to-Any-Suche, um relevanten Kontext über verschiedene Datentypen hinweg zu finden. 3. Lernen Sie, wie LLMs trainiert werden, um multimodale Daten durch visuelles Instruktionstuning zu verstehen, und wenden Sie sie auf mehrere Beispiele für Bildschlüsse an. 4. Implementierung eines multimodalen End-to-End-RAG-Systems, das den abgerufenen multimodalen Kontext analysiert, um aufschlussreiche Antworten zu generieren. 5. Erforschung von Industrieanwendungen wie die visuelle Analyse von Rechnungen und Flussdiagrammen zur Ausgabe strukturierter Daten. 6. Erstellen eines multivektoralen Empfehlungssystems, das relevante Artikel vorschlägt, indem es ihre Ähnlichkeiten über mehrere Modalitäten hinweg vergleicht. AS Da KI-Systeme zunehmend mehrere Datenmodalitäten verarbeiten und schlussfolgern müssen, ist das Erlernen des Aufbaus solcher Systeme eine wichtige Fähigkeit für KI-Entwickler. Dieser Kurs vermittelt Ihnen die Schlüsselkompetenzen zum Einbetten, Abrufen und Generieren über verschiedene Modalitäten hinweg. Durch den Erwerb einer soliden Grundlage in multimodaler KI werden Sie darauf vorbereitet, intelligentere Such-, RAG- und Empfehlungssysteme zu entwickeln.