In diesem Modul führen wir Sie durch die Einrichtung der erforderlichen Entwicklungsumgebung, einschließlich der Erstellung und Konfiguration von API-Konten, der Integration des Unstructured Frameworks und der Durchführung eines Testlaufs, um sicherzustellen, dass alles funktioniert, bevor Sie mit der Datenvorverarbeitung fortfahren.

In diesem Modul werden wir die Feinheiten der Datenvorverarbeitung für LLMs erforschen und dabei auf die Herausforderungen eingehen, die unstrukturierte Daten mit sich bringen, sowie auf die Techniken, die erforderlich sind, um diese zu bewältigen. Sie lernen den gesamten Workflow kennen - von der Datenbereinigung und -normalisierung bis hin zur Strukturierung und Chunking - und erhalten schließlich einen umfassenden Überblick über das Unstructured Framework.

In diesem Modul werden wir in praktische Übungen eintauchen und das Unstructured Framework zur Vorverarbeitung verschiedener Dokumenttypen verwenden. Sie werden die Schritte zur Extraktion und Normalisierung von Daten aus PDFs, PPTX-Dateien und HTML erkunden und entdecken, wie diese Prozesse die Datenqualität für nachgelagerte Anwendungsfälle in LLMs und RAG-Systemen verbessern.

In diesem Modul konzentrieren wir uns auf das Chunking und die Extraktion von Metadaten und untersuchen, wie man den Inhalt von Dokumenten in logische Einheiten aufteilt und mit Metadaten für fortgeschrittene Anwendungen wie semantische Ähnlichkeit und hybride Suche anreichert. Anhand praktischer Übungen lernen Sie, wie Sie Workflows zur Dokumentenverarbeitung optimieren, Dokumentelemente effektiv strukturieren und die Ergebnisse in eine Vektor-Datenbank integrieren können.

In diesem Modul werden wir die Herausforderungen der Vorverarbeitung komplexer Dokumente, einschließlich PDFs und Bilder, angehen, indem wir fortschrittliche Werkzeuge wie DLD und ViT nutzen. Sie lernen praktische Methoden zum Extrahieren und Zusammenfassen von Tabelleninhalten kennen, erhalten Einblicke in die effiziente Vorverarbeitung von HTML- und PDF-Dateien und bewerten die Kompromisse zwischen verschiedenen Vorverarbeitungstechniken.

In diesem Modul werden wir die im Kurs erlernten Fähigkeiten und Techniken zusammenführen, um ein komplettes RAG-System aufzubauen. Von der Vorverarbeitung und Strukturierung komplexer Dokumente bis hin zur Erstellung einer durchsuchbaren Datenbank und der Ermöglichung von Konversationsinteraktionen mit Ihren Dokumenten werden Sie praktische Erfahrungen bei der Bereitstellung einer End-to-End-Lösung sammeln, die für reale Anwendungen zugeschnitten ist.

In diesem Modul werden wir den Kurs abschließen, indem wir die wichtigsten Meilensteine und erworbenen Fähigkeiten wiederholen. Sie erhalten Anleitung zur Anwendung Ihres Wissens auf reale Szenarien und entdecken Ressourcen, um Ihre Reise in der fortgeschrittenen Datenvorverarbeitung und RAG-Systementwicklung fortzusetzen.