In diesem Modul werden wir die mathematischen Grundlagen des Lernens von tiefen Netzwerken erörtern. Wir werden zunächst durcharbeiten, wie wir das Problem des Lernens von tiefen Netzwerken als ein Minimierungsproblem einer mathematischen Funktion definieren. Nachdem wir unser mathematisches Ziel definiert haben, werden wir Validierungsmethoden einführen, um die Leistung der gelernten tiefen Netzwerke in der realen Welt abzuschätzen. Anschließend werden wir erörtern, wie der Gradientenabstieg, eine klassische Technik der Optimierung, verwendet werden kann, um dieses mathematische Ziel zu erreichen. Schließlich werden wir erörtern, warum und wie der stochastische Gradientenabstieg in der Praxis zum Lernen tiefer Netzwerke eingesetzt wird.

In dieser Woche geht es um das Training des Modells, das Transfer-Lernen und die Feinabstimmung. Neben dem Erlernen der Grundlagen eines CNN und seiner Anwendung wird auch die Intuition des CNN sorgfältig erörtert, um ein konzeptionelles Verständnis zu vermitteln.

In dieser Woche wird die Anwendung neuronaler Netze auf die Verarbeitung natürlicher Sprache (NLP) behandelt, von einfachen neuronalen Modellen bis hin zu komplexeren. Es wird das grundlegende Konzept der Worteinbettung besprochen und wie solche Methoden beim Lernen von Modellen und bei der Verwendung für verschiedene NLP-Anwendungen eingesetzt werden. Es wird auch eine breite Palette neuronaler NLP-Modelle besprochen, darunter rekurrente neuronale Netze und insbesondere Modelle mit Langzeitgedächtnis (LSTM).

Diese Woche behandeln wir eine Einführung in das Transformer Network, ein Modell für tiefes maschinelles Lernen, das flexibler und robuster ist als ein rekurrentes neuronales Netzwerk (RNN). Wir beginnen mit einem Überblick über verschiedene Bausteine des maschinellen Lernens in einem Transformer Network: Innere Produkte von Wortvektoren, Aufmerksamkeitsmechanismen und Sequenz-zu-Sequenz-Codierer und -Decodierer. Dann werden wir all diese Komponenten zusammenfügen, um das komplette Transformer Network zu erkunden.

Diese Woche behandeln wir Reinforcement Learning, ein grundlegendes Konzept des maschinellen Lernens, bei dem es darum geht, geeignete Aktionen durchzuführen, um die Belohnungen in einer bestimmten Situation zu maximieren. Nachdem wir die ersten Schritte des Reinforcement Learning kennengelernt haben, gehen wir zum Q Learning und zum Deep Q Learning über. Wir werden den Unterschied zwischen den Konzepten Exploration und Exploitation erörtern und warum sie wichtig sind.