Die Rolle von Aufmerksamkeitsmechanismen in Transformationsmodellen zur Erfassung von Kontextbeziehungen in Texten zu erläutern
Die Unterschiede zwischen decoderbasierten Modellen wie GPT und encoderbasierten Modellen wie BERT bei der Sprachmodellierung zu beschreiben
Implementierung von Schlüsselkomponenten von Transformatormodellen, einschließlich Positionskodierung, Aufmerksamkeitsmechanismen und Maskierung, mit PyTorch
Anwendung von Transformator-basierten Modellen für reale NLP-Aufgaben, wie z.B. Textklassifizierung und Sprachübersetzung, unter Verwendung von PyTorch und Hugging Face Tools
Kompetenzen, die Sie erwerben
Kategorie: Generative Modellarchitekturen
Generative Modellarchitekturen
Kategorie: Angewandtes maschinelles Lernen
Angewandtes maschinelles Lernen
Kategorie: Modellierung großer Sprachen
Modellierung großer Sprachen
Kategorie: Modell Ausbildung
Modell Ausbildung
Kategorie: Lernen übertragen
Lernen übertragen
Kategorie: Einbettungen
Einbettungen
Kategorie: Vorverarbeitung von Daten
Vorverarbeitung von Daten
Kategorie: Verarbeitung natürlicher Sprache
Verarbeitung natürlicher Sprache
Kategorie: Modell-Optimierung
Modell-Optimierung
Werkzeuge, die Sie lernen werden
Kategorie: PyTorch (Bibliothek für maschinelles Lernen)
PyTorch (Bibliothek für maschinelles Lernen)
Kategorie: Generative KI
Generative KI
Wichtige Details
Zertifikat zur Vorlage
Zu Ihrem LinkedIn-Profil hinzufügen
Bewertungen
6 Aufgaben
Unterrichtet in Englisch
91% of learners achieved a positive career outcome
Erfahren Sie, wie Mitarbeiter führender Unternehmen gefragte Kompetenzen erwerben.
Wenn Sie sich für diesen Kurs anmelden, müssen Sie auch ein bestimmtes Programm auswählen.
Lernen Sie neue Konzepte von Branchenexperten
Gewinnen Sie ein Grundverständnis bestimmter Themen oder Tools
Erwerben Sie berufsrelevante Kompetenzen durch praktische Projekte
Erwerben Sie ein Berufszertifikat zur Vorlage
In diesem Kurs gibt es 2 Module
Dieser Kurs bietet eine praktische Einführung in die Verwendung von Transformator-basierten Modellen für Anwendungen der natürlichen Sprachverarbeitung (NLP). Sie lernen, Modelle für die Textklassifikation zu erstellen und zu trainieren, indem Sie Encoder-basierte Architekturen wie Bidirectional Encoder Representations from Transformers (BERT) verwenden, und erforschen Kernkonzepte wie Positionskodierung, Worteinbettungen und Aufmerksamkeitsmechanismen. Der Kurs behandelt Multi-Head-Attention, Self-Attention und kausale Sprachmodellierung mit GPT für Aufgaben wie Textgenerierung und Übersetzung. Sie werden praktische Erfahrungen mit der Implementierung von Transformer-Modellen in PyTorch sammeln, einschließlich Pretraining-Strategien wie Masked Language Modeling (MLM) und Next Sentence Prediction (NSP). In geführten Übungen werden Sie Encoder- und Decoder-Modelle auf reale Szenarien anwenden. Dieser Kurs richtet sich an Lernende, die sich für generative KI interessieren, und erfordert Vorkenntnisse in Python, PyTorch und maschinellem Lernen. Melden Sie sich jetzt an, um Ihre Fähigkeiten in NLP mit Transformatoren zu erweitern!
In diesem Modul lernen Sie, wie Transformatoren sequenzielle Daten mithilfe von Positionskodierung und Aufmerksamkeitsmechanismen verarbeiten. Sie werden erkunden, wie man Positionskodierung in PyTorch implementiert und verstehen, wie Aufmerksamkeit den Modellen hilft, sich auf relevante Teile von Eingabesequenzen zu konzentrieren. Sie werden tiefer in die Selbstaufmerksamkeit und die skalierte Punkt-Produkt-Aufmerksamkeit mit mehreren Köpfen eintauchen, um zu sehen, wie sie zu Sprachmodellierungsaufgaben beitragen. Das Modul erklärt auch, wie die Transformer-Architektur diese Mechanismen effizient nutzt. In praktischen Übungen werden Sie diese Konzepte implementieren und Transformer-Encoder-Schichten in PyTorch erstellen. Schließlich werden Sie Transformer-Modelle für die Textklassifikation anwenden, einschließlich des Aufbaus einer Datenpipeline, der Definition des Modells und des Trainings, wobei Sie auch Techniken zur Optimierung der Trainingsleistung von Transformern erforschen.
Von der Aufmerksamkeit zum Transformator•7 Minuten
Transformatoren für die Klassifizierung: Kodierer•9 Minuten
4 Lektüren•Insgesamt 17 Minuten
Überblick über den Kurs•5 Minuten
Übersicht über die Spezialisierung•7 Minuten
Optimierungsverfahren für effizientes Transformatorentraining•3 Minuten
Zusammenfassung und Highlights•2 Minuten
2 Aufgaben•Insgesamt 45 Minuten
Praxis-Quiz: Positionskodierung, Aufmerksamkeit und Anwendung bei der Klassifizierung•15 Minuten
Benotetes Quiz: Grundlegende Konzepte der Transformatorarchitektur•30 Minuten
2 App-Elemente•Insgesamt 105 Minuten
Praktisches Labor: Aufmerksamkeitsmechanismen und Positionskodierung•45 Minuten
Praktisches Labor: Anwendung von Transformatoren zur Klassifizierung•60 Minuten
2 Plug-ins•Insgesamt 7 Minuten
Hilfreiche Tipps für den Kursabschluss•2 Minuten
Lesen: Leitfaden für Einsteiger zu den Grundlagen von Transformatorenmodellen•5 Minuten
Fortgeschrittene Konzepte der Transformatorenarchitektur
Modul 2•6 Stunden abzuschließen
Moduldetails
In diesem Modul lernen Sie, wie Decoder-basierte Modelle wie GPT mit kausaler Sprachmodellierung trainiert und in PyTorch für Training und Inferenz implementiert werden. Sie werden Encoder-basierte Modelle, wie z.B. Bidirektionale Encoder-Repräsentationen von Transformatoren (BERT), erforschen und deren Pretraining-Strategien unter Verwendung von Masked Language Modeling (MLM) und Next Sentence Prediction (NSP) verstehen, zusammen mit Techniken zur Datenaufbereitung in PyTorch. Sie werden auch untersuchen, wie Transformer-Architekturen auf die maschinelle Übersetzung angewendet werden, einschließlich ihrer Implementierung mit PyTorch. Durch praktische Übungen werden Sie praktische Erfahrungen mit Decoder-Modellen, Encoder-Modellen und Übersetzungsaufgaben sammeln. Das Modul schließt mit einem Spickzettel, einem Glossar und einer Zusammenfassung ab, um Ihr Verständnis der Schlüsselkonzepte zu festigen.
Wir bei IBM wissen, wie schnell sich die Technologie entwickelt, und sind uns bewusst, wie wichtig es für Unternehmen und Fachkräfte ist, schnell einsatzbereite, praxisnahe Fähigkeiten zu erwerben. Als marktführender Tech-Innovator setzen wir uns dafür ein, dass Sie in diesem dynamischen Umfeld erfolgreich sind. Über das IBM Skills Network bieten unsere von Experten entwickelten Schulungsprogramme in den Bereichen künstliche Intelligenz, Softwareentwicklung, Cybersicherheit, Datenwissenschaft, Unternehmensführung und mehr die grundlegenden Fähigkeiten, die Sie benötigen, um sich Ihren ersten Job zu sichern, Ihre Karriere voranzutreiben oder Ihren geschäftlichen Erfolg zu steigern. Ganz gleich, ob Sie sich selbst oder Ihr Team weiterbilden möchten, unsere Kurse, Spezialisierungen und professionellen Zertifikate vermitteln Ihnen das technische Fachwissen, das Sie und Ihr Unternehmen in einer wettbewerbsorientierten Welt auszeichnet.
Wie lange dauert es, die Specialization abzuschließen?
Es dauert nur zwei Wochen, um diesen Kurs zu absolvieren, wenn Sie 3 bis 5 Stunden pro Woche für das Lernen aufwenden.
Brauche ich irgendwelche Vorkenntnisse, um diesen Kurs erfolgreich abzuschließen?
Es wäre gut, wenn Sie über Grundkenntnisse in Python verfügen und mit Konzepten des maschinellen Lernens und neuronaler Netze vertraut sind. Es wäre von Vorteil, wenn Sie mit Textvorverarbeitungsschritten und N-Gramm-, Word2Vec- und Sequenz-zu-Sequenz-Modellen vertraut sind. Kenntnisse von Evaluationsmetriken wie z.B. der bilingualen Evaluation Understudy (BLEU) sind von Vorteil.
Welche Rollen kann ich nach Abschluss des Kurses übernehmen?
Dieser Kurs ist Teil der Generative AI Engineering Essentials with LLMs PC Spezialisierung. Wenn Sie die Spezialisierung abschließen, werden Sie sich mit den Fähigkeiten und dem Selbstvertrauen vorbereiten, um Jobs wie AI Engineer, NLP Engineer, Machine Learning Engineer, Deep Learning Engineer und Data Scientist anzunehmen.
Benötige ich spezielle Software oder Tools, um den Kurs erfolgreich abzuschließen?
Für die Teilnahme an diesem Kurs und allen praktischen Übungen ist lediglich ein moderner Webbrowser erforderlich. Sie erhalten kostenlosen Zugang zu Cloud-basierten Umgebungen, um die Übungen durchzuführen.
Wann werde ich Zugang zu den Vorlesungen und Aufgaben haben?
Um Zugang zu den Kursmaterialien und Aufgaben zu erhalten und um ein Zertifikat zu erwerben, müssen Sie die Zertifikatserfahrung erwerben, wenn Sie sich für einen Kurs anmelden. Sie können stattdessen eine kostenlose Testversion ausprobieren oder finanzielle Unterstützung beantragen. Der Kurs kann stattdessen die Option "Vollständiger Kurs, kein Zertifikat" anbieten. Mit dieser Option können Sie alle Kursmaterialien einsehen, die erforderlichen Bewertungen abgeben und eine Abschlussnote erhalten. Dies bedeutet auch, dass Sie kein Zertifikat erwerben können.
Was bekomme ich, wenn ich dieses Zertifikat abonniere?
Wenn Sie sich für den Kurs anmelden, erhalten Sie Zugang zu allen Kursen des Zertifikats, und Sie erhalten ein Zertifikat, wenn Sie die Arbeit abgeschlossen haben. Ihr elektronisches Zertifikat wird zu Ihrer Seite "Leistungen" hinzugefügt - von dort aus können Sie Ihr Zertifikat ausdrucken oder zu Ihrem LinkedIn-Profil hinzufügen.