In diesem Modul lernen wir das MapReduce-Paradigma kennen und erfahren, wie es zum Schreiben verteilter Programme verwendet werden kann, die Daten in Form von Schlüssel-Wert-Paaren analysieren. Ein MapReduce-Programm wird über benutzerdefinierte Map- und Reduce-Funktionen definiert. Wir lernen, wie man solche Programme in den Projekten Apache Hadoop und Spark schreibt. DasMapReduce-Paradigma kann verwendet werden, um eine Vielzahl von parallelen Algorithmen auszudrücken. Ein Beispiel, das wir untersuchen werden, ist die Berechnung der TermFrequency - Inverse Document Frequency (TF-IDF)-Statistik, die beim Document Mining verwendet wird; dieser Algorithmus verwendet eine feste (nichtiterative) Anzahl von Map- und Reduce-Operationen. Ein weiteres MapReduce-Beispiel, das wir untersuchen werden, ist die Parallelisierung des PageRank-Algorithmus. Dieser Algorithmus ist ein Beispiel für iterative MapReduce-Berechnungen und steht auch im Mittelpunkt des mit diesem Modul verbundenen Miniprojekts.

In diesem Modul lernen wir die Client-Server-Programmierung kennen und erfahren, wie verteilte Java-Anwendungen über Sockets miteinander kommunizieren können. Da die Kommunikation über Sockets auf der Ebene von Bytes erfolgt, lernen wir, wie man Objekte im Senderprozess in Bytes serialisiert und im Empfängerprozess Bytes in Objekte deserialisiert. Sockets und Serialisierung liefern den notwendigen Hintergrund für das mit diesem Modul verbundene MiniprojektFile Server. Wir werden auch etwas über Remote Method Invocation (RMI) lernen, das den Begriff des Methodenaufrufs in einem sequenziellen Programm auf eine verteilte Programmierumgebung ausweitet. Außerdem lernen wir Multicast-Sockets kennen, die die Standard-Socket-Schnittstelle so verallgemeinern, dass ein Sender dieselbe Nachricht an eine bestimmte Anzahl von Empfängern senden kann. Diese Fähigkeit kann für eine Reihe von Anwendungen sehr nützlich sein, z.B. für Newsfeeds, Videokonferenzen und Multiplayer-Spiele. Schließlich lernen wir verteilte Publish-Subscribe-Anwendungen kennen und erfahren, wie diese mit dem Apache Kafka Framework implementiert werden können.

Begleiten Sie Professor Vivek Sarkar zu einem Gespräch mit dem Geschäftsführer von Two Sigma, Jim Ward, und dem Senior Vice President, Dr. Eric Allen, in deren Büro in Houston, Texas, über die Bedeutung der verteilten Programmierung.

In diesem Modul lernen Sie, wie Sie verteilte Anwendungen im SPMD-Modell (Single Program Multiple Data) schreiben können, und zwar mit Hilfe der MPI-Bibliothek (Message Passing Interface). MPI-Prozesse können Nachrichten mit Hilfe von Primitiven für die Punkt-zu-Punkt-Kommunikation senden und empfangen, die sich in Struktur und Semantik vom Message-Passing mit Sockets unterscheiden. Wir werden auch etwas über die Nachrichtenreihenfolge und die Deadlock-Eigenschaften von MPI-Programmen lernen. Die nicht blockierende Kommunikation ist eine interessante Erweiterung der Punkt-zu-Punkt-Kommunikation, da sie zur Vermeidung von Verzögerungen aufgrund von Blockierungen und zur Vermeidung von Fehlern im Zusammenhang mit Deadlocks eingesetzt werden kann. Schließlich werden wir uns mit der kollektiven Kommunikation beschäftigen, die mehrere Prozesse auf eine Weise einbeziehen kann, die leistungsfähiger ist als Multicast- und Publish-Subscribe-Operationen. Die in diesem Modul erworbenen MPI-Kenntnisse werden in dem mit diesem Modul verbundenen Miniprojekt zur Implementierung eines verteilten Matrixmultiplikationsprogramms in MPI in die Praxis umgesetzt.

In diesem Modul werden wir die Rolle von Prozessen und Threads als grundlegende Bausteine paralleler, gleichzeitiger und verteilter Java-Programme untersuchen. Mit diesem Hintergrundwissen lernen wir dann, wie man Multithreading-Server implementiert, um die Reaktionsfähigkeit in verteilten Anwendungen, die mit Sockets geschrieben wurden, zu verbessern, und wenden dieses Wissen in dem Miniprojekt zur Implementierung eines parallelen Dateiservers an, der sowohl Multithreading als auch Sockets verwendet. Ein analoger Ansatz kann auch verwendet werden, um MPI und Multithreading zu kombinieren und so die Leistung von verteilten MPI-Anwendungen zu verbessern. Verteilte Akteure sind ein weiteres Beispiel für die Kombination von Verteilung und Multithreading. Eine bemerkenswerte Eigenschaft des Akteursmodells ist, dass dieselben High-Level-Konstrukte für die Kommunikation zwischen Akteuren, die im selben Prozess laufen, und zwischen Akteuren in verschiedenen Prozessen verwendet werden können; der Unterschied zwischen den beiden Fällen hängt von der Anwendungskonfiguration und nicht vom Anwendungscode ab. Schließlich lernen wir das reaktive Programmiermodell und seine Eignung für die Implementierung verteilter dienstorientierter Architekturen unter Verwendung asynchroner Ereignisse kennen.

Die nächsten beiden Videos zeigen, wie wichtig es ist, etwas über parallele Programmierung und gleichzeitige Programmierung in Java zu lernen. Professor Vivek Sarkar wird bei Two Sigma mit Fachleuten aus der Industrie darüber sprechen, wie die Themen unserer beiden anderen Kurse in der Praxis eingesetzt werden.