Wie KI-Modelle wie Googles „Gemini“ gezeigt haben, können selbst die fortschrittlichsten Systeme spektakuläre Sicherheitsausfälle aufweisen, die zu Imageschäden und einem Verlust des Nutzervertrauens führen. „Safeguard LLM Outputs: Test and Evaluate“ ist ein Kurs für Fortgeschrittene, der sich an Entwickler und ML-Ingenieure richtet, die über Funktionstests hinausgehen und wirklich vertrauenswürdige KI entwickeln möchten. In diesem Kurs lernen Sie die strengen, adversarischen Testmethoden kennen, die professionelle KI-Red-Teams einsetzen, um Anwendungen mit hohem Risiko abzusichern.

Sie lernen, abstrakte Sicherheitsrichtlinien mithilfe von pytest in konkrete, automatisierte Verhaltenstests umzusetzen und adversarische Eingabeaufforderungen zu entwerfen, um systematisch nach Schwachstellen zu suchen. Anschließend meistern Sie die Praxis des „Testens Ihrer Tests“, indem Sie Mutationstest-Frameworks wie mutmut einsetzen, um versteckte Lücken in Ihrem Sicherheitsnetz aufzudecken und zu beseitigen. Am Ende dieses Kurses werden Sie nicht nur in der Lage sein, sicherzustellen, dass sich Ihr LLM sicher verhält, sondern auch nachzuweisen, dass die Tests, die diese Sicherheit überprüfen, selbst umfassend und robust sind.