Wenn ein Chatbot im Produktivbetrieb falsche Antworten liefert, wie finden Sie dann das Problem und beheben es? Dieses Modul vermittelt KI-Praktikern, ML-Ingenieuren und Datenanalysten die wesentlichen Fähigkeiten zur Fehlerbehebung bei LLMs im Produktivbetrieb. Gehen Sie über die Theorie hinaus und lernen Sie den systematischen, datengestützten Arbeitsablauf kennen, mit dem Fachleute das kritische Problem der KI-Halluzinationen lösen. Sie werden in die Lage versetzt, den Schritt von der bloßen Beobachtung von KI-Fehlern hin zur fachkundigen Diagnose und Behebung dieser Fehler zu vollziehen.

Bei wichtigen Entscheidungen zur Bereitstellung reicht ein einfacher Genauigkeitswert nicht aus. In diesem Modul lernen Sie statistische Methoden kennen, mit denen Sie Leistungsverbesserungen von LLMs fundiert validieren können. Am Ende dieses Moduls werden Sie in der Lage sein, über subjektive Bewertungen wie „es scheint besser zu sein“ hinauszugehen und selbstbewusst zu sagen: „Wir können beweisen, dass es besser ist“, sodass jede Entscheidung zur Bereitstellung durch fundierte statistische Belege gestützt wird.

In der Welt der groß angelegten KI können langsame Abfragen und ineffiziente Suchvorgänge ein System lahmlegen. Dieses Modul vermittelt die entscheidenden Fähigkeiten, um dies zu verhindern, und konzentriert sich dabei auf praktische Techniken zur Optimierung von Datenbanken und Vektorsuchen. Am Ende dieses Moduls sind Sie in der Lage, Produktions-Abfragesysteme systematisch zu analysieren und zu optimieren, um sicherzustellen, dass Ihre KI-Anwendungen nicht nur leistungsstark, sondern auch schnell und zuverlässig sind.

In diesem Modul führen Sie eine umfassende Leistungsanalyse durch, bei der Sie zwei LLM-Varianten anhand eines A/B-Testdatensatzes vergleichen. Sie implementieren eine Pipeline zur Berechnung wichtiger Leistungskennzahlen, darunter lexikalische und semantische Ähnlichkeit, und nutzen statistische A/B-Tests, um Modellverbesserungen zu validieren. Das Projekt gipfelt in einem umfassenden Bericht, in dem Sie die Halluzinationsraten mit den Abrufprotokollen in Zusammenhang bringen und Ihre Erkenntnisse zu datengestützten Empfehlungen für die Beteiligten zusammenfassen, um die Entscheidung für eine Einführung auf Produktionsniveau in einer Kundensupport-Anwendung zu unterstützen.