In dieser Woche werden Sie lernen, wie man Wertfunktionen und optimale Strategien schätzt, indem man nur Stichproben aus der Umgebung verwendet. Dieses Modul ist unser erster Schritt in Richtung inkrementeller Lernmethoden, die aus der Interaktion des Agenten mit der Welt lernen und nicht aus einem Modell der Welt. Sie werden Methoden zur Vorhersage und Kontrolle kennenlernen, die auf Monte-Carlo-Methoden beruhen, d.h. auf Methoden, die auf Stichproben basieren. Sie werden auch erneut mit dem Explorationsproblem konfrontiert, allerdings allgemeiner im RL, über Banditen hinaus.

In dieser Woche lernen Sie eines der grundlegendsten Konzepte des Verstärkungslernens kennen: das temporale Differenzlernen (TD). TD-Lernen kombiniert einige der Eigenschaften von Monte-Carlo-Methoden und Dynamischer Programmierung (DP). TD-Methoden ähneln den Monte-Carlo-Methoden insofern, als sie aus der Interaktion des Agenten mit der Welt lernen können und keine Kenntnis des Modells erfordern. TD-Methoden ähneln den DP-Methoden insofern, als sie Bootstrap verwenden und somit online lernen können - Sie müssen also nicht bis zum Ende einer Episode warten. Sie werden sehen, wie TD aufgrund des Bootstrapping effizienter lernen kann als Monte Carlo. In diesem Modul konzentrieren wir uns zunächst auf TD für die Vorhersage und besprechen TD für die Kontrolle im nächsten Modul. Diese Woche werden Sie TD implementieren, um die Wertfunktion für eine festgelegte Strategie in einem simulierten Bereich zu schätzen.

In dieser Woche lernen Sie die Verwendung von temporalem Differenzlernen für die Kontrolle als verallgemeinerte Strategie für die Iteration von Richtlinien kennen. Sie werden drei verschiedene Algorithmen kennenlernen, die auf Bootstrapping und Bellman-Gleichungen für die Kontrolle basieren: Sarsa, Q-learning und Expected Sarsa. Sie werden einige der Unterschiede zwischen den Methoden für On-Policy- und Off-Policy-Kontrolle erkennen und dass Expected Sarsa ein einheitlicher Algorithmus für beide ist. Sie werden Expected Sarsa und Q-learning auf Cliff World implementieren.

Bisher dachten Sie vielleicht, dass Lernen mit und ohne Modell zwei unterschiedliche und in gewisser Weise konkurrierende Strategien sind: Planung mit Dynamischer Programmierung gegenüber stichprobenbasiertem Lernen mit TD-Methoden. In dieser Woche vereinen wir diese beiden Strategien mit der Dyna-Architektur. Sie werden lernen, wie man das Modell aus Daten schätzt und dieses Modell dann verwendet, um hypothetische Erfahrungen zu generieren (ein bisschen wie Träumen), um die Effizienz von Stichproben im Vergleich zu stichprobenbasierten Methoden wie Q-Learning drastisch zu verbessern. Darüber hinaus lernen Sie, wie man Lernsysteme entwickelt, die gegenüber ungenauen Modellen robust sind.