Unser Kurs beginnt mit dem grundlegendsten Regressionsmodell: Die einfache Anpassung einer Linie an die Daten. Dieses einfache Modell zur Bildung von Vorhersagen aus einem einzigen, univariaten Merkmal der Daten wird passenderweise "einfache lineare Regression" genannt.<p> In diesem Modul beschreiben wir die Regressionsaufgabe auf hoher Ebene und spezialisieren diese Konzepte dann auf den Fall der einfachen linearen Regression. Sie lernen, wie man ein einfaches Regressionsmodell formuliert und das Modell an die Daten anpasst, indem man sowohl eine geschlossene Lösung als auch einen iterativen Optimierungsalgorithmus namens Gradientenabstieg verwendet. Auf der Grundlage dieser angepassten Funktion werden Sie die geschätzten Modellparameter interpretieren und Vorhersagen treffen. Sie werden auch die Sensitivität Ihrer Anpassung auf abweichende Beobachtungen analysieren.<p> Sie werden all diese Konzepte im Rahmen einer Fallstudie zur Vorhersage von Hauspreisen anhand der Quadratmeterzahl des Hauses untersuchen.

Der nächste Schritt, um über die einfache lineare Regression hinauszugehen, ist die "multiple Regression", bei der mehrere Merkmale der Daten verwendet werden, um Vorhersagen zu treffen. <p>Genauer gesagt, lernen Sie in diesem Modul, wie Sie Modelle für komplexere Beziehungen zwischen einer einzelnen Variablen (z.B. "Quadratfuß") und der beobachteten Antwort (wie "Hausverkaufspreis") erstellen können. Dazu gehört z.B. die Anpassung eines Polynoms an Ihre Daten oder die Erfassung von saisonalen Veränderungen im Antwortwert. Sie werden auch lernen, wie Sie mehrere Eingabevariablen (z.B. 'Quadratmeter', 'Anzahl der Schlafzimmer', 'Anzahl der Badezimmer') einbeziehen können. Sie werden dann in der Lage sein zu beschreiben, wie all diese Modelle immer noch in den Rahmen der linearen Regression eingebettet werden können, aber jetzt unter Verwendung mehrerer "Merkmale". Innerhalb dieses Rahmens der multiplen Regression werden Sie die Modelle an die Daten anpassen, die geschätzten Koeffizienten interpretieren und Vorhersagen treffen. <p>Hier werden Sie auch einen Gradientenabstiegsalgorithmus zur Anpassung eines multiplen Regressionsmodells implementieren.

Nachdem Sie sich mit linearen Regressionsmodellen und Algorithmen zur Schätzung der Parameter solcher Modelle vertraut gemacht haben, sind Sie nun in der Lage zu beurteilen, wie gut die von Ihnen gewählte Methode bei der Vorhersage neuer Daten funktionieren sollte. Sie sind auch in der Lage, unter den möglichen Modellen das leistungsfähigste auszuwählen. <p>In diesem Modul geht es um diese wichtigen Themen der Modellauswahl und -bewertung. Sie werden sowohl theoretische als auch praktische Aspekte solcher Analysen untersuchen. Zunächst werden Sie sich mit dem Konzept der Messung des "Verlusts" Ihrer Vorhersagen befassen und dies nutzen, um Trainings-, Test- und Generalisierungsfehler zu definieren. Für diese Fehlermessungen werden Sie analysieren, wie sie mit der Modellkomplexität variieren und wie sie für eine valide Bewertung der Vorhersageleistung genutzt werden können. Dies führt direkt zu einem wichtigen Gespräch über den Kompromiss zwischen Verzerrung und Varianz, der für das maschinelle Lernen grundlegend ist. Schließlich werden Sie eine Methode entwickeln, um zunächst eine Auswahl unter den Modellen zu treffen und dann die Leistung des ausgewählten Modells zu bewerten. <p>Die in diesem Modul beschriebenen Konzepte sind der Schlüssel zu allen Problemen des maschinellen Lernens, die weit über die in diesem Kurs behandelte Regression hinausgehen.

Sie haben untersucht, wie die Leistung eines Modells mit zunehmender Modellkomplexität variiert, und können die potenzielle Gefahr beschreiben, dass komplexe Modelle zu stark an die Trainingsdaten angepasst werden. In diesem Modul werden Sie eine sehr einfache, aber äußerst effektive Technik zur automatischen Bewältigung dieses Problems kennenlernen. Diese Methode nennt sich "Ridge Regression". Sie beginnen mit einem komplexen Modell, passen das Modell aber so an, dass nicht nur ein Maß für die Anpassung an die Trainingsdaten, sondern auch ein Term, der die Lösung von überangepassten Funktionen ablenkt, einbezogen wird. Zu diesem Zweck werden Sie die Symptome von überangepassten Funktionen erforschen und dies nutzen, um ein quantitatives Maß zu definieren, das Sie in Ihrem überarbeiteten Optimierungsziel verwenden können. Sie werden sowohl einen Algorithmus in geschlossener Form als auch einen Gradientenabstiegsalgorithmus für die Anpassung des Ridge-Regressionsziels ableiten. Diese Formen sind kleine Modifikationen der ursprünglichen Algorithmen, die Sie für die multiple Regression abgeleitet haben. Um die Stärke der Verzerrung weg von der Überanpassung auszuwählen, werden Sie eine Allzweckmethode namens "Kreuzvalidierung" untersuchen. <p>Sie werden sowohl die Kreuzvalidierung als auch den Gradientenabstieg implementieren, um ein Ridge-Regressionsmodell anzupassen und die Regularisierungskonstante auszuwählen.

Eine grundlegende Aufgabe des maschinellen Lernens besteht darin, aus einer Reihe von Merkmalen auszuwählen, die in ein Modell aufgenommen werden sollen. In diesem Modul werden Sie diese Idee im Kontext der multiplen Regression untersuchen und beschreiben, wie wichtig eine solche Merkmalsauswahl sowohl für die Interpretierbarkeit als auch für die Effizienz der Vorhersagen ist. <p>Zu Beginn werden Sie Methoden untersuchen, die eine Aufzählung von Modellen mit verschiedenen Teilmengen von Merkmalen durchsuchen. Sie werden sowohl die erschöpfende Suche als auch gierige Algorithmen analysieren. Dann wenden wir uns anstelle einer expliziten Aufzählung der Lasso-Regression zu, die implizit eine Merkmalsauswahl ähnlich wie die Ridge-Regression vornimmt: Ein komplexes Modell wird auf der Grundlage eines Maßes für die Anpassung an die Trainingsdaten sowie eines Maßes für die Überanpassung angepasst, das sich von dem bei der Ridge-Regression verwendeten unterscheidet. Diese Lasso-Methode hat sich in zahlreichen Anwendungsbereichen durchgesetzt, und die Ideen hinter der Methode haben das maschinelle Lernen und die Statistik grundlegend verändert. Sie werden auch einen Koordinatenabstiegsalgorithmus für die Anpassung eines Lasso-Modells implementieren. <p>Koordinatenabstieg ist eine weitere, allgemeine Optimierungstechnik, die in vielen Bereichen des maschinellen Lernens nützlich ist.

Bis zu diesem Punkt haben wir uns auf Methoden konzentriert, die parametrische Funktionen - wie Polynome und Hyperebenen - an den gesamten Datensatz anpassen. In diesem Modul richten wir unsere Aufmerksamkeit stattdessen auf eine Klasse von "nichtparametrischen" Methoden. Diese Methoden erlauben es, die Komplexität des Modells zu erhöhen, wenn mehr Daten beobachtet werden, und führen zu Anpassungen, die sich lokal an die Beobachtungen anpassen. <p>Zunächst betrachten wir das einfache und intuitive Beispiel für nichtparametrische Methoden, die Regression der nächsten Nachbarn: Die Vorhersage für einen Abfragepunkt basiert auf den Ergebnissen der am meisten verwandten Beobachtungen im Trainingssatz. Dieser Ansatz ist extrem einfach, kann aber hervorragende Vorhersagen liefern, insbesondere bei großen Datensätzen. Sie setzen Algorithmen ein, um nach den nächsten Nachbarn zu suchen und auf der Grundlage der entdeckten Nachbarn Vorhersagen zu treffen. Auf dieser Idee aufbauend, wenden wir uns der Kernel-Regression zu. Anstatt Vorhersagen auf der Grundlage einer kleinen Gruppe von Nachbarbeobachtungen zu treffen, werden bei der Kernel-Regression alle Beobachtungen im Datensatz verwendet, wobei der Einfluss dieser Beobachtungen auf den vorhergesagten Wert nach ihrer Ähnlichkeit mit dem Abfragepunkt gewichtet wird. Sie werden die theoretische Leistung dieser Methoden bei einer unendlichen Anzahl von Trainingsdaten analysieren und die Szenarien untersuchen, in denen diese Methoden gut oder schlecht funktionieren. Sie werden diese Techniken auch implementieren und ihr praktisches Verhalten beobachten.

Zum Abschluss des Kurses rekapitulieren wir, was wir behandelt haben. Dabei geht es sowohl um regressionsspezifische Techniken als auch um grundlegende Konzepte des maschinellen Lernens, die in der gesamten Spezialisierung vorkommen werden. Wir gehen auch kurz auf einige wichtige Regressionstechniken ein, die wir in diesem Kurs nicht behandelt haben.<p> Wir schließen mit einem Überblick über das, was Sie im weiteren Verlauf der Spezialisierung erwartet.