„LLMs bewerten: Testen und Signifikanz nachweisen“ ist ein Kurs für Fortgeschrittene, der sich an ML-Ingenieure, KI-Praktiker und Datenwissenschaftler richtet, deren Aufgabe es ist, den Nutzen von Modellaktualisierungen nachzuweisen. Bei wichtigen Entscheidungen zur Modellbereitstellung reicht ein einfacher Genauigkeitswert nicht aus. In diesem Kurs lernen Sie statistische Methoden kennen, mit denen Sie Leistungsverbesserungen von LLMs rigoros validieren können. Sie lernen, Unsicherheiten durch die Berechnung und Interpretation von Konfidenzintervallen zu quantifizieren und durch formale Hypothesentests wie den Chi-Quadrat-Test nachzuweisen, ob Änderungen aussagekräftig sind. In praktischen Übungen mit Python-Bibliotheken wie SciPy und Matplotlib analysieren Sie Modellausgaben, prüfen die statistische Signifikanz und erstellen aussagekräftige Visualisierungen mit Fehlerbalken, mit denen Sie Ihre Ergebnisse den Beteiligten klar vermitteln können. Am Ende dieses Kurses werden Sie in der Lage sein, über subjektive Bewertungen wie „es scheint besser zu sein“ hinauszugehen und selbstbewusst zu sagen: „Wir können beweisen, dass es besser ist“, sodass jede Entscheidung zur Bereitstellung durch fundierte statistische Belege gestützt wird.