In diesem Modul werden wir uns mit den Kernaspekten des Maschinellen Lernens befassen, wobei der Schwerpunkt auf der Bedeutung von Daten liegt, insbesondere bei Deep Learning-Anwendungen. Wir beginnen damit, dass wir betonen, wie wichtig große Datensätze für ein effektives Training von Deep Learning-Modellen sind, da sie es den Modellen ermöglichen, komplexe Muster zu erfassen und daraus zu lernen, was ihre Gesamtleistung verbessert. Darüber hinaus werden wir die Überschneidung von Datenverfügbarkeit, Rechenleistung und Modellkapazität untersuchen und aufzeigen, wie diese Elemente zusammenwirken, um die Genauigkeit und Effizienz des Modells zu verbessern. Darüber hinaus werden in diesem Modul die Fortschritte bei der Datenverarbeitung jenseits des Mooreschen Gesetzes und ihre Auswirkungen auf das Maschinelle Lernen behandelt. Es wird aufgezeigt, wie moderne Hardware wie CPUs, GPUs und TPUs die Rechenkapazitäten verbessern, die für das Training anspruchsvoller Modelle entscheidend sind. Wir werden uns auch mit den Skalierungsgesetzen im Deep Learning befassen und empirische Ergebnisse diskutieren, die zeigen, wie sich die Modellleistung mit zunehmender Datenmenge und Modellkomplexität vorhersehbar verbessert, wenn auch mit abnehmender Rendite. Um eine tiefere theoretische Grundlage zu schaffen, werden wir die Vapnik-Chervonenkis (VC)-Theorie untersuchen, die Einblicke in die Beziehung zwischen Lernkurven und Modellkomplexität und der Fähigkeit eines Modells zur Verallgemeinerung aus Trainingsdaten bietet. Diese Diskussion wird sich auf praktische Anwendungen und theoretische Grenzen erstrecken und dazu beitragen, die Herausforderungen des Maschinellen Lernens in Bezug auf Datenausreichend, Modellanpassung und das Gleichgewicht zwischen Bias und Abweichung zu formulieren. Am Ende dieses Moduls werden die Studierenden ein gründliches Verständnis des dynamischen Zusammenspiels dieser Faktoren und ihrer Auswirkungen auf die Praxis des Maschinellen Lernens und die Forschung haben.

In diesem Modul werden wir uns mit Transfer Learning und seiner Rolle beim dateneffizienten Maschinellen Lernen beschäftigen, bei dem Modelle das Wissen aus früheren Aufgaben nutzen, um die Leistung bei neuen, verwandten Aufgaben zu verbessern. Wir werden auch verschiedene Arten von Transfer Learning behandeln, darunter transduktive, induktive und unüberwachte Methoden, die jeweils unterschiedliche Herausforderungen und Anwendungen adressieren. Wir werden einige praktische Schritte zur Implementierung von Transfer Learning besprechen, wie z.B. die Auswahl und das Fine-Tuning von Pre-Training-Modellen, um die Abhängigkeit von großen Datensätzen zu verringern. Wir werden auch datengesteuerte und physikbasierte Simulationen zur Datenerweiterung untersuchen und deren Einsatz zur Verbesserung des Trainings unter eingeschränkten Bedingungen hervorheben. Abschließend werden wir die wichtigsten Arbeiten über Transfer Learning-Techniken zur Bewältigung von Datenknappheit und zur Verbesserung der Modellleistung besprechen.

In diesem Modul lernen Sie das Konzept der Domänenanpassung kennen, ein Schlüsselaspekt des transduktiven Transfer Learning. Mithilfe der Domänenanpassung können Sie Modelle trainieren, die in einer Zieldomäne gut funktionieren, auch wenn sich die Verteilung der Daten von der Quelldomäne unterscheidet. Sie lernen die Herausforderungen der Domänenverschiebung und der Knappheit an gelabelten Daten kennen und erfahren, wie sich diese auf die Leistung des Modells auswirken können. Wir werden verschiedene Arten der Domänenanpassung behandeln, darunter unüberwachte, halbüberwachte und überwachte Ansätze. Sie werden auch in Techniken wie Deep Domain Confusion (DDC) eintauchen, die den Verlust der Domänenkonfusion in neuronale Netzwerke integriert, um domäneninvariante Merkmale zu erstellen. Darüber hinaus lernen Sie fortgeschrittene Methoden wie Domain-Adversarial Neural Networks (DANNs), Correlation Alignment (CORAL) und Deep Adaptation Networks (DANs) kennen, die auf DDC aufbauen, um die Domänenanpassung zu verbessern, indem sie die Verteilung von Merkmalen abgleichen und komplexe Abhängigkeiten über Netzwerkschichten hinweg erfassen.

In diesem Modul werden wir uns mit der schwachen Überwachung befassen, einer Technik zum Training von Modellen des Maschinellen Lernens mit begrenzten, verrauschten oder ungenauen Beschriftungen. Sie lernen verschiedene Arten von schwacher Überwachung kennen und erfahren, warum sie in Bereichen mit kleinen Datenmengen entscheidend sind. Wir werden Techniken wie halbüberwachtes Lernen, selbstüberwachtes Lernen und aktives Lernen sowie fortgeschrittene Methoden wie Temporal Ensembling und den Mean Teacher-Ansatz behandeln. Darüber hinaus lernen Sie Bayesian Deep Learning und aktive Lernstrategien zur Verbesserung der Trainingseffizienz kennen. Schließlich werden Sie reale Anwendungen in Bereichen wie medizinische Bildgebung, NLP, Betrugserkennung, autonomes Fahren und Biologie kennenlernen.

In diesem Modul erfahren Sie, wie Zero-Shot Learning (ZSL) Modelle in die Lage versetzt, neue Kategorien zu erkennen, ohne dass sie während des Trainings Beispiele für diese Kategorien gesehen haben. Dies wird erreicht, indem semantische Zwischenbeschreibungen, wie z. B. Attribute, genutzt werden, die von gesehenen und ungesehenen Klassen gemeinsam genutzt werden. Sie werden auch erfahren, wie wichtig die Regularisierung ist, um Überanpassung zu verhindern und die Generalisierung zu verbessern, und wie generative Modelle wie GANs und VAEs ZSL verbessern, indem sie ungesehene Klassendaten synthetisieren. Darüber hinaus werden wir uns mit Generalized Zero-Shot Learning (GZSL) beschäftigen, bei dem Modelle sowohl auf gesehene als auch auf ungesehene Klassen getestet werden, was die Aufgabe anspruchsvoller und realistischer macht. Am Ende dieses Moduls werden Sie ein solides Verständnis dafür haben, wie ZSL und seine Erweiterungen auf verschiedene Aufgaben des Maschinellen Lernens angewendet werden können.

Dieses Modul befasst sich mit Few-Shot Learning (FSL), einem wichtigen Paradigma des Maschinellen Lernens, das Modelle in die Lage versetzt, neue Beispiele mit nur einer kleinen Anzahl von markierten Instanzen zu klassifizieren. Im Gegensatz zu traditionellen Deep Learning-Modellen, die riesige Mengen beschrifteter Daten benötigen, ahmt FSL die menschliche Fähigkeit nach, aus begrenzten Beispielen zu verallgemeinern, was es für Aufgaben wie Bildklassifizierung, Objekterkennung und Verarbeitung natürlicher Sprache (NLP) äußerst nützlich macht. In der Vorlesung werden Matching-Netzwerke vorgestellt, ein metrikbasierter Lernansatz zur Lösung von One-Shot-Lernproblemen durch das Erlernen einer Ähnlichkeitsfunktion, die neue Beispiele auf zuvor gesehene markierte Instanzen abbildet. Die Studenten erhalten ein tiefes Verständnis dafür, wie Nearest-Neighbor-Ansätze, differenzierbare Einbettungsfunktionen und Aufmerksamkeitsmechanismen bei der Optimierung von Few-Shot Learning Modellen helfen. Durch Diskussionen, theoretische Formulierungen und reale Anwendungen vermittelt diese Vorlesung den Studierenden praktische Erkenntnisse darüber, wie KI in datenarmen Umgebungen effektiv funktionieren kann.