Bewertung und Optimierung der LLM-Leistung

Dieser Kurs ist Teil von Spezialisierung „LLM Optimierung & Bewertung“

Dozent: LearningMate

Bei Mehr erfahren enthalten

Fragen Sie Coursera

3 Module

Verschaffen Sie sich einen Einblick in ein Thema und lernen Sie die Grundlagen.

Stufe Mittel

Empfohlene Erfahrung

4 Stunden zu vervollständigen

Flexibler Zeitplan

In Ihrem eigenen Lerntempo lernen

3 Module

Verschaffen Sie sich einen Einblick in ein Thema und lernen Sie die Grundlagen.

Stufe Mittel

Empfohlene Erfahrung

4 Stunden zu vervollständigen

Flexibler Zeitplan

In Ihrem eigenen Lerntempo lernen

Was Sie lernen werden

Bewerten Sie LLMs anhand von Metriken wie BLEU und ROUGE, führen Sie A/B-Tests zur Ermittlung der statistischen Signifikanz durch und optimieren Sie die Modellleistung mit datengestützten Strategien.

Kompetenzen, die Sie erwerben

Kategorie: Skripting
Kategorie: Bewertung des Modells
Kategorie: Entwicklung von Testskripten
Kategorie: Statistische Analyse
Kategorie: Modellierung großer Sprachen
Kategorie: Statistische Methoden
Kategorie: Wahrscheinlichkeitsrechnung und Statistik
Kategorie: Statistische Inferenz
Kategorie: Einbettungen
Kategorie: Verarbeitung natürlicher Sprache
Kategorie: Leistungsmetrik
Kategorie: Datengestützte Entscheidungsfindung
Kategorie: LLM-Bewerbung
Kategorie: Modell-Optimierung
Kategorie: Statistische Hypothesenprüfung

Werkzeuge, die Sie lernen werden

Kategorie: Schnelles Engineering

Wichtige Details

Zertifikat zur Vorlage

Zu Ihrem LinkedIn-Profil hinzufügen

Bewertungen

3 Zuweisungen¹

KI-bewertet siehe Haftungsausschluss

Unterrichtet in Englisch

Erfahren Sie, wie Mitarbeiter führender Unternehmen gefragte Kompetenzen erwerben.

Weitere Informationen zu Coursera für Unternehmen

Logos von Petrobras, TATA, Danone, Capgemini, P&G und L'Oreal

Erweitern Sie Ihre Fachkenntnisse

Dieser Kurs ist Teil der Spezialisierung Spezialisierung „LLM Optimierung & Bewertung“

Wenn Sie sich für diesen Kurs anmelden, werden Sie auch für diese Spezialisierung angemeldet.

Lernen Sie neue Konzepte von Branchenexperten
Gewinnen Sie ein Grundverständnis bestimmter Themen oder Tools
Erwerben Sie berufsrelevante Kompetenzen durch praktische Projekte
Erwerben Sie ein Berufszertifikat zur Vorlage

In diesem Kurs gibt es 3 Module

Sie haben ein leistungsstarkes Large Language Model (LLM) in Ihre Anwendung integriert. Die ersten Ergebnisse sind beeindruckend, und Ihr Team ist begeistert. Doch dann stellen sich die schwierigen Fragen. Ist die neue Eingabeanweisung wirklich besser als die alte, oder „fühlt“ sie sich nur besser an? Wie beweisen Sie den Stakeholdern, dass der Wechsel von GPT-3.5 zu GPT-4 die zusätzlichen Kosten wert ist? Wenn Sie zwei Modelle haben, die leicht unterschiedliche Antworten liefern, wie entscheiden Sie, welches davon objektiv überlegen ist?

Nach Abschluss dieses Kurses werden Sie das Selbstvertrauen haben, Ihr Team dabei anzuleiten, kluge, evidenzbasierte Entscheidungen zu treffen, die Ihre KI-Anwendungen messbar verbessern. Sind Sie bereit, ein LLM-Experte zu werden? Es ist an der Zeit, wissenschaftliche Genauigkeit in die Kunst der KI einzubringen. Melden Sie sich für den Kurs „Evaluate & Optimize LLM Performance“ an und erwerben Sie die wesentlichen Fähigkeiten, um die nächste Generation von Sprachmodellen zu entwickeln, zu validieren und zu perfektionieren.

Dieses Einführungsmodul legt den Grundstein für die quantitative Bewertung von Large Language Models (LLM). Die Lernenden erfahren, warum es nicht nachhaltig ist, sich bei der Beurteilung der Modellleistung auf Intuition zu verlassen, und setzen sich mit den grundlegenden Metriken auseinander, die zur Erstellung automatisierter, objektiver Bewertungssysteme verwendet werden. Wir behandeln sowohl Metriken zur lexikalischen Ähnlichkeit (wie BLEU und ROUGE-L), die die Textstruktur bewerten, als auch semantische Metriken (wie die Kosinusähnlichkeit), die die Bedeutung erfassen. Am Ende dieses Moduls verfügen die Lernenden über das konzeptionelle Verständnis und den praktischen Code, um ihr erstes automatisiertes Bewertungsskript zu erstellen.

Das ist alles enthalten

2 Videos1 Lektüre1 Aufgabe1 Unbewertetes Labor

2 VideosInsgesamt 12 Minuten

Wie berechnet man lexikalische Metriken: BLEU und ROUGE-L in Python?6 Minuten
Wie berechnet man die semantische Ähnlichkeit mit Embeddings?6 Minuten

1 LektüreInsgesamt 5 Minuten

Ein Leitfaden zur Bewertung von LLM: Lexikalische und semantische Metriken5 Minuten

1 AufgabeInsgesamt 10 Minuten

Wissenscheck: Auswahl Ihrer Kennzahlen10 Minuten

1 Unbewertetes LaborInsgesamt 60 Minuten

So erstellen Sie Ihr erstes Skript zur automatisierten Auswertung60 Minuten

Dieses Modul führt vom reinen Datenmaterial zu fundierten Schlussfolgerungen. Die Lernenden werden erkennen, warum statistische Genauigkeit beim Vergleich von LLM-Ergebnissen unverzichtbar ist. Sie lernen, klare Hypothesen zu formulieren, A/B-Tests zu entwerfen und zu analysieren sowie Ergebnisse wie p-Werte und Konfidenzintervalle zu interpretieren, um echte Leistungssteigerungen von zufälligen Schwankungen zu unterscheiden. Am Ende dieses Moduls sind die Lernenden in der Lage, datengestützte Entscheidungen mit Zuversicht zu treffen und sicherzustellen, dass Änderungen an Prompts, Modellen oder Parametern zu statistisch signifikanten Verbesserungen führen.

Das ist alles enthalten

3 Videos1 Lektüre1 Aufgabe1 Unbewertetes Labor

3 VideosInsgesamt 16 Minuten

Warum raten, wenn man es wissen kann? Der Fall der „besseren“ Eingabeaufforderung5 Minuten
Die Sprache der Forschung: Hypothesen, p-Werte und Aussagekraft5 Minuten
Die Zahlen unter die Lupe nehmen: A/B-Test-Analyse in Python7 Minuten

1 LektüreInsgesamt 7 Minuten

Ein faires Rennen gestalten: A/B-Tests für LLMs7 Minuten

1 AufgabeInsgesamt 10 Minuten

Wissenscheck: Konzepte statistischer Hypothesentests10 Minuten

1 Unbewertetes LaborInsgesamt 60 Minuten

Statistische Signifikanztests60 Minuten

Das ist alles enthalten

3 Videos1 Lektüre1 Aufgabe1 Unbewertetes Labor

3 VideosInsgesamt 16 Minuten

Vom Bericht zum Handeln: Der Optimierungszyklus3 Minuten
Fallstudie: Benchmarking eines Sentiment-Analyzers6 Minuten
So erstellen Sie Ihren ersten Bewertungsbericht6 Minuten

1 LektüreInsgesamt 5 Minuten

Aufbau eines reproduzierbaren Bewertungsworkflows5 Minuten

1 AufgabeInsgesamt 30 Minuten

Abschlussprojekt: Erstellen Sie Ihr LLM-Evaluierungstoolkit30 Minuten

1 Unbewertetes LaborInsgesamt 8 Minuten

Planung Ihrer Optimierungsstrategie8 Minuten

Erwerben Sie ein Karrierezertifikat.

Fügen Sie dieses Zeugnis Ihrem LinkedIn-Profil, Lebenslauf oder CV hinzu. Teilen Sie sie in Social Media und in Ihrer Leistungsbeurteilung.

Dozent

LearningMate

276 Kurse38.446 Lernende

von

Coursera

Mehr von Maschinelles Lernen entdecken

Status: Kostenloser Testzeitraum
Simplilearn
LLM Benchmarking and Evaluation Training
Kurs
Status: Kostenloser Testzeitraum
Coursera
Evaluating LLM Performance and Efficiency
Kurs
Status: Kostenloser Testzeitraum
Coursera
Harnessing LLMs: Strategy, Fine-Tuning & Evaluation
Spezialisierung
Status: Kostenloser Testzeitraum
Coursera
LLM Optimization & Evaluation
Spezialisierung

Warum entscheiden sich Menschen für Coursera für ihre Karriere?

Felipe M.

Lernender seit 2018

„Es ist eine großartige Erfahrung, in meinem eigenen Tempo zu lernen. Ich kann lernen, wenn ich Zeit und Nerven dazu habe.“

Jennifer J.

Lernender seit 2020

„Bei einem spannenden neuen Projekt konnte ich die neuen Kenntnisse und Kompetenzen aus den Kursen direkt bei der Arbeit anwenden.“

Larry W.

Lernender seit 2021

„Wenn mir Kurse zu Themen fehlen, die meine Universität nicht anbietet, ist Coursera mit die beste Alternative.“

Chaitanya A.

„Man lernt nicht nur, um bei der Arbeit besser zu werden. Es geht noch um viel mehr. Bei Coursera kann ich ohne Grenzen lernen.“

Schalten Sie den Zugang zu mehr als 10.000 Kursen mit einem Abonnement frei
Bringen Sie Ihre Karriere mit einem Online-Abschluss voran.
Erwerben Sie einen Abschluss von erstklassigen Universitäten – 100 % online
Schließen Sie sich den über 4.700 globalen Unternehmen an, die Coursera for Business wählen

Häufig gestellte Fragen

Um auf Kursmaterialien und Aufgaben zugreifen zu können und ein Zertifikat zu erwerben, müssen Sie bei der Anmeldung zu einem Kurs die Option „Zertifikat“ erwerben. Berechtigte Lernende haben möglicherweise auch die Möglichkeit, mit einer kostenlosen Testphase zu beginnen. Bei einigen Kursen wird möglicherweise auch die Option „Vollständiger Kurs, kein Zertifikat“ angeboten. Damit haben Sie Zugriff auf die Kursmaterialien, können die erforderlichen Prüfungen einreichen und erhalten eine Abschlussnote, können jedoch kein Zertifikat erwerben oder erhalten.

Wenn Sie sich für den Kurs einschreiben, erhalten Sie Zugang zu allen Kursen der Spezialisierung, und Sie erhalten ein Zertifikat, wenn Sie die Arbeit abgeschlossen haben. Ihr elektronisches Zertifikat wird Ihrer Seite "Leistungen" hinzugefügt - von dort aus können Sie Ihr Zertifikat ausdrucken oder Ihrem LinkedIn-Profil hinzufügen.

Ja. Für ausgewählte Lernprogramme können Sie finanzielle Unterstützung oder ein Stipendium beantragen, wenn Sie die Einschreibegebühr nicht aufbringen können. Wenn für das von Ihnen gewählte Lernprogramm eine finanzielle Unterstützung oder ein Stipendium verfügbar ist, finden Sie auf der Beschreibungsseite einen Link zur Beantragung.

Weitere Fragen

Besuchen Sie die das Hilfe-Center für Kursteilnehmer.

Finanzielle Unterstützung verfügbar,

¹ Einige Aufgaben in diesem Kurs werden mit AI bewertet. Für diese Aufgaben werden Ihre Daten in Übereinstimmung mit Datenschutzhinweis von Courseraverwendet.