„Agentenleistung analysieren: Erstellen und Testen“ ist ein Kurs für Fortgeschrittene, der sich an Datenanalysten, ML-Ingenieure und Entwickler richtet, deren Aufgabe die Optimierung von KI-Systemen ist. In einer Welt, in der agentenbasierte KI immer mehr an Bedeutung gewinnt, reicht es nicht aus, einen Agenten zu entwickeln – man muss auch dessen Wirksamkeit nachweisen. Dieser Kurs vermittelt Ihnen die datengestützten Fähigkeiten, um KI-Agenten, die mit Frameworks wie LangChain, Autogen und CrewAI entwickelt wurden, zu messen, zu überwachen und zu verbessern.

Sie lernen, wie Sie rohe, verrauschte Protokolle durch die Anwendung von Datenaggregationstechniken mit SQL und dbt in verwertbare KPIs umwandeln. In praktischen Übungen entwerfen und führen Sie kontrollierte A/B-Experimente durch, bei denen Sie verschiedene Agentenversionen vergleichen, um aussagekräftige Verbesserungen zu identifizieren. Sie werden zentrale statistische Methoden, darunter den Chi-Quadrat-Test, beherrschen, um festzustellen, ob Ihre Ergebnisse statistisch signifikant sind oder nur auf Zufall beruhen. Sie werden in der Lage sein, über Korrelationen hinaus Kausalzusammenhänge zu erkennen und objektive, evidenzbasierte Empfehlungen für die Implementierung von Agent-Verbesserungen abzugeben.