Willkommen zu Woche 2! In dieser Woche werden wir uns mit mehrarmigen Banditenproblemen beschäftigen, einer Art von Optimierungsproblem, bei dem der Algorithmus ein Gleichgewicht zwischen Erkundung und Ausbeutung herstellt, um die Belohnungen zu maximieren. Zu den Themen gehören Aktionswerte und Stichprobenmittelwertschätzung, 𝜀-greedy Aktionsauswahl und die obere Vertrauensgrenze. Sie können im Diskussionsforum posten, wenn Sie Hilfe für das Quiz und die Aufgabe benötigen.

Willkommen zu Woche 3! In dieser Woche werden wir uns auf die Grundlagen des Markov-Entscheidungsprozesses konzentrieren, einschließlich Belohnungen, Nutzen, Diskontierung, Strategien, Wertfunktionen und Bellman-Gleichungen. Sie werden sequentielle Entscheidungsprobleme modellieren, die Auswirkungen von Belohnungen und Diskontierungsfaktoren auf die Ergebnisse verstehen, Strategien und Wertfunktionen definieren und Bellman-Gleichungen für optimale Lösungen schreiben. Sie können im Diskussionsforum posten, wenn Sie Hilfe für das Quiz und die Aufgaben benötigen.

Willkommen zu Woche 4! Diese Woche werden wir uns mit Algorithmen der dynamischen Programmierung zur Lösung von Markov-Entscheidungsprozessen (MDPs) beschäftigen. Themen sind u.a. Wertiteration und Policy-Iteration, nichtlineare Bellman-Gleichungen, Komplexität und Konvergenz sowie ein Vergleich der beiden Ansätze. Sie können im Diskussionsforum posten, wenn Sie Hilfe beim Quiz und der Aufgabe benötigen.

Willkommen zu Woche 5! In dieser Woche werden wir die Themen partielle Beobachtbarkeit und POMDPs, Glaubenszustände, Darstellung als Glaubens-MDPs und Online-Planung in MDPs und POMDPs durchgehen. Sie werden Ihr Wissen auch anwenden, um den Glaubenszustand zu aktualisieren und eine Glaubensübergangsfunktion zur Berechnung von Zustandswerten zu verwenden. Sie können im Diskussionsforum posten, wenn Sie Hilfe für das Quiz und die Aufgabe benötigen.

Willkommen zu Woche 6! In dieser Woche stellen wir Ihnen Monte-Carlo-Methoden vor und behandeln Themen im Zusammenhang mit der Schätzung von Zustandswerten mit Hilfe von Stichprobenmittelung und Monte-Carlo-Vorhersage, Zustandsaktionswerten und Epsilon-Greedy-Politiken sowie Wichtigkeitsstichproben für die Monte-Carlo-Kontrolle von Off-Policy und On-Policy. Sie werden lernen, Zustandswerte und Zustandsaktionswerte zu schätzen, Wichtigkeitsstichproben zu verwenden und eine Off-Policy-Monte-Carlo-Kontrolle für optimales Policy-Lernen zu implementieren. Sie können im Diskussionsforum posten, wenn Sie Hilfe für das Quiz und die Aufgabe benötigen.

Willkommen zu Woche 7! Diese Woche behandeln wir Themen im Zusammenhang mit temporalem Differenzlernen für die Vorhersage, TD-Batch-Methoden, SARSA für On-Policy-Kontrolle und Q-Learning für Off-Policy-Kontrolle. Sie werden lernen, TD-Prädiktion, TD-Batch- und Offline-Methoden, SARSA und Q-Learning zu implementieren und TD-Lernen für On-Policy und Off-Policy zu vergleichen. Anschließend werden Sie Ihr Wissen bei der Lösung einer Tic-Tac-Toe-Programmieraufgabe anwenden. Sie können im Diskussionsforum posten, wenn Sie Hilfe beim Quiz und der Aufgabe benötigen.

Willkommen zu Woche 8! Dieses Modul befasst sich mit der n-schrittigen temporalen Differenzvorhersage, n-schrittigem SARSA (on-policy und off-policy), modellbasiertem RL mit Dyna-Q und Funktionsapproximation. Sie werden darauf vorbereitet sein, n-step TD-Lernen, n-step SARSA, Dyna-Q für modellbasiertes Lernen zu implementieren und Funktionsapproximation für Reinforcement Learning zu verwenden. Sie werden Ihr Wissen in der Programmierumgebung Frozen Lake anwenden. Sie können im Diskussionsforum posten, wenn Sie Hilfe beim Quiz und der Aufgabe benötigen.