Dieses Modul ist die Bridge zu Markov-Prozessen und Markov-Ketten. Die Stichprobe von Thompson ist ein alter Algorithmus, der wiederbelebt wurde und derzeit bei vielen anspruchsvollen Problemen eingesetzt wird. Wenn die Studierenden dieses Material und die Verbindungen zur letzten Woche und zur kommenden Woche verstehen, werden sie gut positioniert sein, um diesen ersten Kurs in der Spezialisierung zu meistern

Änderungspunkte sind Orte, an denen sich die zuvor stationären Verteilungen der letzten beiden Module zu einer neuen Verteilung verschieben. In einer Fertigungsstraße könnte dies auf eine neue Charge von Materialien zurückzuführen sein, die mit anderen Eigenschaften ankommen, so dass sich die Ausfallrate ändert.

Markov-Ketten beschreiben eine Abfolge von Zustandsänderungen. Sie werden häufig zur Beschreibung komplexer Übergänge zwischen Zuständen verwendet und sind ein primäres Modellierungsinstrument zum besseren Verständnis eines komplexen Systems. Wir werden sie als Modell dafür verwenden, wie sequenzielle Daten von einem komplexeren System erzeugt werden können.

Der nächste Schritt in der Modellierungsfähigkeit sind Markov-Prozesse mit Entscheidungen. Dies knüpft an die moderne Forschung im Bereich des Bestärkenden Lernens an und ermöglicht die Optimierung der Entscheidungsmengen für ein optimales Ergebnis. In dieser letzten Woche des ersten Kurses werden wir die Grundlagen behandeln, wie diese Markov-Entscheidungsprozesse parametrisiert werden können und was sie bedeuten.