Lineare Klassifikatoren gehören zu den praktischsten Klassifizierungsmethoden. In unserer Fallstudie zur Stimmungsanalyse assoziiert ein linearer Klassifikator zum Beispiel einen Koeffizienten mit der Anzahl der einzelnen Wörter im Satz. In diesem Modul werden Sie mit dieser Art der Darstellung vertraut gemacht. Sie werden sich auf einen besonders nützlichen Typ von linearem Klassifikator, die logistische Regression, konzentrieren, die Ihnen nicht nur die Vorhersage einer Klasse ermöglicht, sondern auch eine mit der Vorhersage verbundene Wahrscheinlichkeit liefert. Diese Wahrscheinlichkeiten sind äußerst nützlich, da sie ein gewisses Maß an Vertrauen in die Vorhersagen vermitteln. In diesem Modul werden Sie auch in der Lage sein, Merkmale aus kategorialen Eingaben zu konstruieren und Klassifizierungsprobleme mit mehr als zwei Klassen (Multiklassenprobleme) zu bewältigen. Sie werden die Ergebnisse dieser Techniken anhand einer realen Aufgabe zur Stimmungsanalyse von Produkten untersuchen.

Nachdem Sie sich mit linearen Klassifikatoren und logistischer Regression vertraut gemacht haben, können Sie jetzt eintauchen und Ihren ersten Lernalgorithmus für die Klassifizierung schreiben. Insbesondere werden Sie Gradient Ascent verwenden, um die Koeffizienten Ihres Klassifikators aus den Daten zu lernen. Zunächst müssen Sie die Qualitätsmetrik für diese Aufgaben mithilfe eines Ansatzes namens Maximum Likelihood Estimation (MLE) definieren. Sie werden auch mit einer einfachen Technik zur Auswahl der Schrittgröße für den Gradientenanstieg vertraut gemacht. Ein optionaler, fortgeschrittener Teil dieses Moduls behandelt die Ableitung des Gradienten für die logistische Regression. Sie werden Ihren eigenen Lernalgorithmus für die logistische Regression von Grund auf implementieren und ihn verwenden, um einen Klassifikator für die Stimmungsanalyse zu lernen.

Wie wir im Regressionskurs gesehen haben, ist die Überanpassung vielleicht die größte Herausforderung, mit der Sie konfrontiert werden, wenn Sie Ansätze des maschinellen Lernens in der Praxis anwenden. Diese Herausforderung kann bei der logistischen Regression besonders groß sein, wie Sie in diesem Modul feststellen werden, da wir nicht nur riskieren, eine zu komplexe Entscheidungsgrenze zu erhalten, sondern Ihr Klassifikator auch zu viel Vertrauen in die von ihm vorhergesagten Wahrscheinlichkeiten gewinnen kann. In diesem Modul werden Sie sich eingehend mit der Überanpassung bei der Klassifizierung befassen und anhand einiger interessanter Visualisierungen der Ergebnisse der Klassifizierer umfassende praktische Erkenntnisse gewinnen. Anschließend werden Sie einen Regularisierungsterm zu Ihrer Optimierung hinzufügen, um das Overfitting zu verringern. Sie werden sowohl die L2-Regularisierung untersuchen, um große Koeffizientenwerte zu bestrafen, als auch die L1-Regularisierung, um zusätzliche Sparsamkeit in den Koeffizienten zu erreichen. Schließlich werden Sie Ihren Gradientenanstiegsalgorithmus modifizieren, um regularisierte logistische Regressionsklassifikatoren zu lernen. Sie werden Ihren eigenen regularisierten logistischen Regressionsklassifikator von Grund auf implementieren und die Auswirkungen der L2-Strafe auf reale Stimmungsanalysedaten untersuchen.

Zusammen mit linearen Klassifizierern gehören Entscheidungsbäume zu den am häufigsten verwendeten Klassifizierungstechniken in der realen Welt. Diese Methode ist äußerst intuitiv, einfach zu implementieren und liefert interpretierbare Vorhersagen. In diesem Modul machen Sie sich mit der zentralen Darstellung von Entscheidungsbäumen vertraut. Anschließend werden Sie einen einfachen, rekursiven Greedy-Algorithmus entwerfen, um Entscheidungsbäume aus Daten zu lernen. Schließlich werden Sie diesen Ansatz erweitern, um mit kontinuierlichen Eingaben umgehen zu können, eine grundlegende Voraussetzung für praktische Probleme. In diesem Modul werden Sie eine brandneue Fallstudie aus dem Finanzsektor untersuchen: die Vorhersage des mit einem Bankkredit verbundenen Risikos. Sie werden Ihren eigenen Entscheidungsbaum-Lernalgorithmus auf realen Kreditdaten implementieren.

Von allen Techniken des maschinellen Lernens sind Entscheidungsbäume mit am anfälligsten für Overfitting. Keine praktische Implementierung ist möglich, ohne Ansätze einzubeziehen, die diese Herausforderung abmildern. In diesem Modul werden Sie anhand verschiedener Visualisierungen und Untersuchungen untersuchen, warum Entscheidungsbäume unter erheblichen Overfitting-Problemen leiden. Unter Anwendung des Prinzips von Occams Rasiermesser werden Sie die Überanpassung durch das Lernen einfacherer Bäume abmildern. Zunächst werden Sie Algorithmen entwerfen, die den Lernprozess stoppen, bevor die Entscheidungsbäume übermäßig komplex werden. In einem optionalen Abschnitt werden Sie einen sehr praktischen Ansatz entwerfen, der einen übermäßig komplexen Baum lernt und ihn dann durch Beschneidung vereinfacht. Ihre Implementierung wird die Auswirkungen dieser Techniken auf die Abschwächung von Overfitting an unserem realen Darlehensdatensatz untersuchen.

Bei Problemen des maschinellen Lernens in der realen Welt gibt es viele fehlende Daten. Das heißt, sehr oft werden einige der Eingaben nicht für alle Datenpunkte beobachtet. Dies ist eine sehr große Herausforderung, die in den meisten Fällen auftritt und sorgfältig behandelt werden muss, um eine gute Leistung zu erzielen. Dieses Thema wird in Kursen zum maschinellen Lernen nur selten behandelt. In diesem Modul werden Sie das Problem der fehlenden Daten direkt angehen. Sie beginnen mit den beiden grundlegendsten Techniken zur Umwandlung eines Datensatzes mit fehlenden Daten in einen sauberen Datensatz, nämlich dem Überspringen fehlender Werte und der Eingabe fehlender Werte. In einem fortgeschrittenen Abschnitt werden Sie außerdem eine Modifikation des Entscheidungsbaum-Lernalgorithmus entwerfen, die Entscheidungen über fehlende Daten direkt in das Modell einbaut. Sie werden diese Techniken auch in Ihrer Implementierung mit echten Daten erproben.

Eine der spannendsten theoretischen Fragen im Bereich des maschinellen Lernens ist, ob einfache Klassifikatoren zu einem hochpräzisen Ensemble kombiniert werden können. Diese Frage führte zur Entwicklung von Boosting, einer der wichtigsten und praktischsten Techniken des maschinellen Lernens heute. Dieser einfache Ansatz kann die Genauigkeit eines beliebigen Klassifizierers erhöhen und wird in der Praxis häufig verwendet, z.B. von mehr als der Hälfte der Teams, die die Kaggle-Wettbewerbe für maschinelles Lernen gewinnen. In diesem Modul werden Sie zunächst den Ensemble-Klassifikator definieren, bei dem mehrere Modelle über die beste Vorhersage abstimmen. Anschließend werden Sie einen Boosting-Algorithmus namens AdaBoost kennenlernen, der einen hervorragenden Ansatz für das Boosten von Klassifikatoren bietet. Anhand von Visualisierungen werden Sie viele der praktischen Aspekte dieser Technik kennenlernen. Sie werden Ihre eigene Implementierung von AdaBoost von Grund auf neu erstellen und damit die Leistung Ihres Kreditrisikoprädiktors auf realen Daten steigern.

In vielen realen Situationen sind Genauigkeit oder Fehler nicht die besten Qualitätsmaßstäbe für die Klassifizierung. Sie werden eine Fallstudie untersuchen, die dieses Problem deutlich macht: die Verwendung der Stimmungsanalyse zur Anzeige positiver Bewertungen auf einer Restaurant-Website. Anstelle von Genauigkeit werden Sie zwei Metriken definieren: Präzision und Recall, die in der Praxis häufig verwendet werden, um die Qualität von Klassifizierern zu messen. Sie werden untersuchen, wie die von Ihrem Klassifikator ausgegebenen Wahrscheinlichkeiten verwendet werden können, um Präzision und Recall gegeneinander abzuwägen, und Sie werden dieses Spektrum anhand von Präzisions-Recall-Kurven untersuchen. In Ihrer praktischen Implementierung werden Sie diese Metriken mit Ihrem gelernten Klassifikator auf realen Sentimentanalyse-Daten berechnen.

Mit dem Aufkommen des Internets, dem Wachstum der sozialen Medien und der Einbettung von Sensoren in der Welt sind die Datenmengen, die unsere Algorithmen für maschinelles Lernen verarbeiten müssen, im letzten Jahrzehnt enorm gewachsen. Dieser Effekt wird manchmal als "Big Data" bezeichnet. Daher müssen unsere Lernalgorithmen auf immer größere Datensätze skalieren. In diesem Modul werden Sie eine kleine Abwandlung des Gradientenaufstiegs, den stochastischen Gradienten, entwickeln, der die Laufzeit unserer Algorithmen erheblich beschleunigt. Diese einfache Änderung kann die Skalierung drastisch verbessern, macht den Algorithmus aber weniger stabil und schwieriger in der Praxis zu verwenden. In diesem Modul werden Sie die praktischen Techniken untersuchen, die erforderlich sind, um den stochastischen Gradienten praktikabel zu machen und so Lernalgorithmen zu erhalten, die auf große Datensätze skalieren. Sie werden sich auch mit einer neuen Art von maschinellem Lernproblem befassen, dem Online-Lernen, bei dem die Daten im Laufe der Zeit einströmen und wir die Koeffizienten lernen müssen, während die Daten eintreffen. Diese Aufgabe kann auch mit stochastischen Gradienten gelöst werden. Sie werden Ihren eigenen stochastischen Gradientenaufstiegsalgorithmus für die logistische Regression von Grund auf implementieren und ihn anhand von Sentiment-Analysedaten bewerten.