In diesem Abschnitt stellen wir die wesentlichen Werkzeuge vor, die für den Kurs und insbesondere für das LLM-Twin-Projekt benötigt werden. Wir geben einen Überblick über den Tech-Stack, behandeln die Installationsverfahren für Python und sein Ökosystem, das Abhängigkeitsmanagement mit Poetry sowie die Ausführung von Aufgaben mithilfe von Poe the Poet. Dieser Abschnitt bietet zudem Einblicke in MLOps- und LLMOps-Tools wie ZenML und Hugging Face und erläutert deren Rolle im Projekt. Abschließend führen wir die Nutzer durch die Einrichtung eines AWS-Kontos, wobei der Schwerpunkt auf SageMaker für die Bereitstellung von ML-Modellen liegt.

In diesem Abschnitt beschäftigen wir uns eingehend mit dem LLM-Twin-Projekt, indem wir eine Pipeline zur Datenerfassung entwerfen, mit der Rohdaten gesammelt werden, die für LLM-Anwendungsfälle wie Fine-Tuning und Inferenz unerlässlich sind. Wir konzentrieren uns dabei auf die Implementierung einer ETL-Pipeline, die Daten von Plattformen wie Medium und GitHub in einem MongoDB-Data-Warehouse aggregiert und so reale Szenarien aus dem Bereich des maschinellen Lernens simuliert.

In diesem Abschnitt befassen wir uns mit der Feature-Pipeline der „Retrieval-Augmented Generation“ (RAG), einer entscheidenden Technik zur Einbettung benutzerdefinierter Daten in große Sprachmodelle ohne ständiges Fine-Tuning. Wir stellen die grundlegenden Komponenten eines einfachen RAG-Systems vor, darunter Chunking, Einbettung und Vektordatenbanken. Außerdem befassen wir uns eingehend mit der Architektur der RAG-Feature-Pipeline von LLM Twin, wenden theoretische Konzepte in der praktischen Umsetzung an und erörtern die Bedeutung von RAG für die Bewältigung von Problemen wie Modellhalluzinationen und veralteten Daten. Dieser Abschnitt bietet tiefgehende Einblicke in fortgeschrittene RAG-Techniken und die Rolle von Batch-Pipelines bei der Datensynchronisation zur Verbesserung der Genauigkeit.

In diesem Abschnitt werden wir uns mit dem Prozess des „Supervised Fine-Tuning“ (SFT) für große Sprachmodelle (LLMs) befassen. Wir werden uns eingehend mit der Erstellung von Anweisungsdatensätzen beschäftigen und untersuchen, wie diese zur Feinabstimmung von LLMs für bestimmte Aufgaben genutzt werden. Dieser Abschnitt behandelt die einzelnen Schritte bei der Erstellung dieser Datensätze, die Bedeutung der Datenqualität sowie verschiedene Techniken und Strategien zur Optimierung des Feinabstimmungsprozesses. Unser Schwerpunkt liegt darauf, Allzweckmodelle durch SFT in spezialisierte Assistenten umzuwandeln, damit diese kohärentere und relevantere Antworten liefern können.

In diesem Abschnitt befassen wir uns eingehend mit dem Thema Präferenzabgleich und erörtern, wie sich Sprachmodelle mithilfe der Direct Preference Optimization (DPO) so verfeinern lassen, dass sie besser auf menschliche Präferenzen abgestimmt sind. Wir gehen dabei näher auf die Erstellung und Auswertung von Präferenzdatensätzen ein, um sicherzustellen, dass unsere Modelle die Nuancen menschlicher Interaktionen erfassen.

In diesem Abschnitt befassen wir uns eingehend mit der Bewertung großer Sprachmodelle (LLMs) und gehen dabei auf verschiedene Bewertungsmethoden und deren Bedeutung ein. Wir behandeln allgemeine, domänenspezifische und aufgabenspezifische Bewertungen und heben dabei die jeweiligen besonderen Herausforderungen hervor. Darüber hinaus untersuchen wir Pipelines für die „Retrieval-Augmented Generation“ (RAG) und stellen Tools wie Ragas und ARES für eine umfassende Bewertung von LLMs vor.

In diesem Abschnitt beschäftigen wir uns eingehend mit der Kunst der Feinabstimmung großer Sprachmodelle, um deren Leistung und Effizienz zu steigern. Wir werden wichtige Strategien zur Optimierung des Inferenzprozesses dieser Modelle untersuchen – ein entscheidender Schritt angesichts ihres hohen Rechen- und Speicherbedarfs. Von der Reduzierung der Latenz über die Verbesserung des Durchsatzes bis hin zur Minimierung des Speicherbedarfs untersuchen wir, wie sich Hardware mit Spezialisierung und innovative Techniken einsetzen lassen, um die Modellleistung zu steigern. Wenn Sie diese Optimierungsgeheimnisse kennenlernen, können Sie effizientere Implementierungen realisieren – sei es für Aufgaben, die eine schnelle Reaktion erfordern, wie die Code-Vervollständigung, oder für die batchweise Generierung von Dokumenten.

In diesem Abschnitt befassen wir uns mit dem Aufbau und der Implementierung einer RAG-Inferenz-Pipeline – angefangen beim Verständnis ihrer Architektur bis hin zur Implementierung wichtiger Module wie Retrieval, Prompt-Erstellung und Interaktion mit dem LLM. Wir stellen Methoden zur Optimierung von Retrieval-Prozessen wie der Abfrageerweiterung und der Selbstabfrage unter Verwendung der OpenAI-API vor und integrieren diese Techniken in ein umfassendes Retrieval-Modul. Abschließend fügen wir diese Elemente zu einer einheitlichen Inferenz-Pipeline zusammen und bereiten die weiteren Schritte für den Einsatz vor.

In diesem Abschnitt konzentrieren wir uns auf die Bereitstellung der Inferenz-Pipeline für große Sprachmodelle (LLMs) in ML-Anwendungen, um sicherzustellen, dass die Modelle für Endnutzer zugänglich und effizient sind. Wir behandeln Bereitstellungsstrategien, architektonische Entscheidungen und Optimierungstechniken, um Herausforderungen wie Rechenleistung und Zugriff auf Merkmale zu bewältigen.

In diesem Abschnitt tauchen wir in die Feinheiten von MLOps und LLMOps ein und untersuchen deren Rolle bei der Automatisierung von Machine-Learning-Prozessen und dem Umgang mit großen Sprachmodellen. Wir werden auf ihre Ursprünge in DevOps eingehen, die besonderen Herausforderungen hervorheben, denen sich LLMOps stellt – wie beispielsweise das Prompt-Management und Skalierungsprobleme – und die praktischen Schritte für eine effiziente Bereitstellung dieser Systeme veranschaulichen. Der Abschnitt enthält außerdem Erörterungen zum Übergang von der manuellen Bereitstellung zu cloudbasierten Lösungen, wobei die Vorteile von CI/CD-Pipelines und der Dockerisierung bei der Ausführung und Verwaltung von Modellen in großem Maßstab hervorgehoben werden.