Der Kurs „Textvorbereitung für KI-Modelle“ richtet sich an Entwickler, Ingenieure und technische Produktentwickler, die noch keine Erfahrung mit generativer KI haben, aber bereits über fortgeschrittene Kenntnisse im Bereich des maschinellen Lernens, grundlegende Python-Kenntnisse und Vertrautheit mit Entwicklungsumgebungen wie VS Code verfügen und offene generative KI-Lösungen entwickeln, anpassen und bereitstellen möchten, ohne dabei in eine Anbieterabhängigkeit zu geraten.

Der Kurs vermittelt den Teilnehmern praktische Fähigkeiten bei der Beschaffung, Vorverarbeitung und Formatierung von Datensätzen für das Training großer Sprachmodelle. Ausgehend von der Suche nach Textdatensätzen in Repositorien wie Hugging Face, Kaggle und Common Crawl bewerten die Teilnehmer Qualität, Relevanz und lizenzrechtliche Aspekte. Anschließend behandelt der Kurs Vorverarbeitungs-Pipelines, einschließlich Strategien zur Textbereinigung, Normalisierung, Deduplizierung und Tokenisierung, um Effizienz und Kompatibilität mit dem Modelltraining sicherzustellen. Die Teilnehmer entwerfen zudem Annotationsschemata, wenden halbautomatische Labeling-Techniken an und erstellen Validierungs-Workflows zur Qualitätssicherung. Das abschließende Modul führt die Teilnehmer in die Erstellung strukturierter Datensätze für das Training-Tuning, das Fine-Tuning und das Benchmarking ein, gestützt auf Best Practices bei der Aufteilung in Trainings- und Testdatensätze sowie bei der Stratifizierung. Am Ende des Kurses haben die Teilnehmer produktionsreife Textdatensätze erstellt, die für generative KI-Anwendungen geeignet sind.