Zu Beginn des Kurses betrachten wir eine Suchaufgabe, bei der es darum geht, ein Dokument zu finden, das einem Dokument ähnlich ist, das jemand gerade liest. Wir betrachten dieses Problem als eine Suche nach dem nächsten Nachbarn, ein Konzept, das wir bereits in den Kursen Grundlagen und Regression kennengelernt haben. In diesem Kurs werden Sie jedoch zwei entscheidende Komponenten der Algorithmen genauer unter die Lupe nehmen: die Datendarstellung und die Metrik zur Messung der Ähnlichkeit zwischen Datenpunktpaaren. Sie werden den Rechenaufwand des naiven Algorithmus für die Suche nach dem nächsten Nachbarn untersuchen und stattdessen skalierbare Alternativen implementieren, die KD-Bäume für die Verarbeitung großer Datensätze und ortsabhängiges Hashing (LSH) für die Bereitstellung annähernder nächster Nachbarn selbst in hochdimensionalen Räumen verwenden. Sie werden all diese Ideen anhand eines Wikipedia-Datensatzes untersuchen und die Auswirkungen der verschiedenen Optionen auf die Ergebnisse der nächsten Nachbarn vergleichen und gegenüberstellen.

Beim Clustering besteht unser Ziel darin, die Datenpunkte in unserem Datensatz in disjunkte Gruppen einzuteilen. Motiviert durch unsere Fallstudie zur Dokumentenanalyse werden Sie Clustering verwenden, um thematische Gruppen von Artikeln nach "Themen" zu entdecken. Diese Themen werden in dieser unüberwachten Lernaufgabe nicht vorgegeben. Die Idee ist vielmehr, solche Cluster-Labels auszugeben, die postfaktisch mit bekannten Themen wie "Wissenschaft", "Weltnachrichten" usw. assoziiert werden können. Auch ohne solche Post-Facto-Labels werden Sie untersuchen, wie die Clustering-Ausgabe Einblicke in die Beziehungen zwischen den Datenpunkten im Datensatz geben kann. Der erste Clustering-Algorithmus, den Sie implementieren werden, ist k-means, der am weitesten verbreitete Clustering-Algorithmus, den es gibt. Um k-means zu skalieren, lernen Sie das allgemeine MapReduce-Framework für die Parallelisierung und Verteilung von Berechnungen kennen und erfahren dann, wie die Iterate von k-means dieses Framework nutzen können. Sie werden zeigen, dass k-means eine interpretierbare Gruppierung von Wikipedia-Artikeln liefern kann, wenn es richtig eingestellt ist.

Bei k-means werden die Beobachtungen jeweils einem einzigen Cluster fest zugeordnet, und diese Zuordnungen basieren nur auf den Clusterzentren, anstatt auch die Forminformationen zu berücksichtigen. In unserem zweiten Modul zum Thema Clustering werden Sie probabilistisches, modellbasiertes Clustering durchführen, das (1) einen anschaulicheren Begriff von "Cluster" bietet und (2) die Unsicherheit bei der Zuordnung von Datenpunkten zu Clustern durch "weiche Zuordnungen" berücksichtigt. Sie werden einen weithin nützlichen Algorithmus namens Erwartungsmaximierung (EM) erforschen und implementieren, um diese weichen Zuordnungen sowie die Modellparameter abzuleiten. Um ein Gefühl dafür zu bekommen, werden Sie zunächst eine visuell ansprechende Aufgabe zum Clustering von Bildern betrachten. Anschließend werden Sie Wikipedia-Artikel clustern, wobei Sie die hohe Dimensionalität der tf-idf-Dokumentendarstellung berücksichtigen werden.

Das Clustering-Modell geht von der Annahme aus, dass die Daten in disjunkte Gruppen unterteilt sind, z.B. Dokumente nach Thema. Oft werden unsere Datenobjekte jedoch besser durch die Zugehörigkeit zu einer Sammlung von Mengen, z.B. mehreren Themen, beschrieben. In unserem vierten Modul werden Sie die latente Dirichlet-Zuordnung (LDA) als Beispiel für ein solches gemischtes Zugehörigkeitsmodell kennenlernen, das besonders bei der Dokumentenanalyse nützlich ist. Sie werden die Ergebnisse der LDA interpretieren und verschiedene Möglichkeiten kennenlernen, wie diese Ergebnisse genutzt werden können, z.B. als eine Reihe von gelernten Dokumentenmerkmalen. Die Ideen zur Modellierung gemischter Zugehörigkeit, die Sie durch LDA für die Dokumentenanalyse kennenlernen, lassen sich auf viele andere interessante Modelle und Anwendungen übertragen, wie z.B. Modelle sozialer Netzwerke, in denen Personen mehrere Zugehörigkeiten haben.<p>In diesem Modul werden Aspekte der Bayes'schen Modellierung und ein Bayes'scher Inferenzalgorithmus namens Gibbs Sampling vorgestellt. Am Ende des Moduls werden Sie in der Lage sein, einen Gibbs-Sampler für LDA zu implementieren.

Am Ende des Kurses fassen wir zusammen, was wir behandelt haben. Dabei handelt es sich sowohl um Techniken, die speziell für Clustering und Retrieval geeignet sind, als auch um grundlegende Konzepte des maschinellen Lernens, die im weiteren Sinne nützlich sind.<p>Wir geben einen kurzen Einblick in einen alternativen Clustering-Ansatz, das hierarchische Clustering, mit dem Sie anhand des Wikipedia-Datensatzes experimentieren werden. Im Anschluss an diese Erkundung erörtern wir, wie Clustering-ähnliche Ideen in anderen Bereichen wie der Segmentierung von Zeitreihen angewendet werden können. Anschließend gehen wir kurz auf einige wichtige Clustering- und Retrieval-Ideen ein, die wir in diesem Kurs nicht behandelt haben.<p> Zum Abschluss geben wir Ihnen einen Überblick darüber, was Sie im weiteren Verlauf der Spezialisierung erwartet.