Dieser Kurs befasst sich mit den Grundlagen und der Entwicklung moderner Transformer-Architekturen und führt Sie von frühen Sequenzmodellen bis hin zu fortschrittlichen multimodalen Systemen, die die heutigen Durchbrüche im Bereich der KI ermöglichen. Durch die Kombination von fundierten konzeptionellen Inhalten mit praktischen Demonstrationen bietet dieser Kurs einen strukturierten Überblick über Aufmerksamkeitsmechanismen, das Design von Transformern, Innovationen im Bereich der Effizienz sowie Strategien für das Training großer Datenmengen.

Zunächst lernen Sie rekurrente neuronale Netze (RNNs), LSTMs und GRUs kennen und untersuchen deren Stärken und Grenzen bei der Modellierung sequenzieller Daten. Anschließend wenden Sie sich den Aufmerksamkeitsmechanismen und der Multi-Head-Attention zu und erfahren, wie Transformer langjährige Herausforderungen wie verschwindende Gradienten und die Modellierung langfristiger Abhängigkeiten überwunden haben. Im weiteren Verlauf des Kurses erlangen Sie ein tiefes Verständnis für Encoder-Decoder-Architekturen, positionelle Kodierungstechniken wie sinusförmige Einbettungen und RoPE sowie Effizienzinnovationen wie „Flash Attention“, GQA und „Mixture of Experts“ (MoE). Anschließend erweitert sich der Kurs auf multimodales Lernen und auf Ähnlichkeit basierende Systeme. Sie werden sich mit Vision Transformers (ViTs), Techniken zur Embedding-Ausrichtung, kontrastivem Lernen und Strategien für groß angelegtes verteiltes Training befassen. Anhand von Demonstrationen und Analysen werden Sie sehen, wie moderne Transformer-Systeme auf riesige Datensätze skalieren und dabei ihre Leistung und Speichereffizienz beibehalten. Am Ende dieses Kurses werden Sie in der Lage sein: • die Grenzen traditioneller RNN-basierter Sequenzmodelle zu erklären und darzulegen, wie Aufmerksamkeitsmechanismen diese überwinden. • Multi-Head-Attention sowie Encoder-Decoder-Architekturen von Transformern zu implementieren und zu analysieren. • Strategien der Positionskodierung zu vergleichen und deren Auswirkungen auf die Generalisierungsfähigkeit des Modells zu verstehen. • Effizienztechniken wie „Flash Attention“, GQA und MoE zur Skalierung von Transformern zu bewerten. • „Vision Transformers“ und das multimodale Repräsentationslernen zu verstehen. • Konzepte des Ähnlichkeitslernens unter Verwendung von Embeddings und Distanzmetriken anzuwenden. • Skalierbare Transformer-Trainingssysteme unter Verwendung verteilter und speicheroptimierter Strategien zu entwerfen. • Entwerfen Sie Transformer-basierte Systeme für reale NLP- und multimodale Anwendungen. Dieser Kurs ist ideal für KI-Ingenieure, Praktiker im Bereich des maschinellen Lernens, Forscher und fortgeschrittene Studierende, die ein fundiertes Verständnis von Transformer-Systemen über die oberflächliche Anwendung hinaus anstreben. Grundkenntnisse in Python und in grundlegenden neuronalen Netzen sind von Vorteil. Nehmen Sie an unserem Kurs teil, um Transformer-Architekturen zu meistern, multimodale Intelligenz zu erforschen und die technischen Kenntnisse zu erwerben, die erforderlich sind, um die Modelle zu verstehen und zu skalieren, die die moderne KI prägen.