Große Sprachmodelle wie der Generative vortrainierte Transformator (GPT) 3.5, der ChatGPT antreibt, verändern die Art und Weise, wie Menschen mit Computern interagieren und wie Computer Text verarbeiten können. In diesem Kurs werden die grundlegenden Ideen der Verarbeitung natürlicher Sprache und der Sprachmodellierung vorgestellt, die diesen großen Sprachmodellen zugrunde liegen. Wir werden die Grundlagen der Funktionsweise von Sprachmodellen erforschen und uns mit den Besonderheiten neuerer neural-basierter Ansätze befassen. Wir werden die wichtigsten Innovationen untersuchen, die es Transformer-basierten großen Sprachmodellen ermöglicht haben, sich bei der Lösung verschiedener Sprachaufgaben durchzusetzen. Schließlich werden wir die Herausforderungen bei der Anwendung dieser großen Sprachmodelle auf verschiedene Probleme untersuchen, einschließlich der ethischen Probleme, die mit ihrer Konstruktion und Verwendung verbunden sind.

In praktischen Übungen lernen wir die Bausteine von Transformers kennen und wenden sie zur Erzeugung neuer Texte an. Diese Python-Übungen führen Sie schrittweise durch den Prozess der Anwendung eines kleineren Sprachmodells und zeigen Ihnen, wie dieses bewertet und auf verschiedene Probleme angewendet werden kann. Regelmäßige Übungstests helfen, das Wissen zu festigen und bereiten Sie auf die benoteten Prüfungen vor.