Dans ce module, nous allons découvrir le paradigme MapReduce et comment il peut être utilisé pour écrire des programmes distribués qui analysent des données représentées sous forme de paires clé-valeur. Un programme MapReduce est défini par des fonctions map et reduce spécifiées par l'utilisateur, et nous apprendrons à écrire de tels programmes dans les projets Apache Hadoop et Spark. Le paradigme MapReduce peut être utilisé pour exprimer une large gamme d'algorithmes parallèles. Un exemple que nous étudierons est le calcul de la statistique TermFrequency - Inverse Document Frequency (TF-IDF) utilisée dans l'exploration de documents ; cet algorithme utilise un nombre fixe (non itératif) d'opérations map et reduce. Un autre exemple de MapReduce que nous étudierons est la parallélisation de l'algorithme PageRank. Cet algorithme est un exemple de calculs MapReduce itératifs, et est également au centre du mini-projet associé à ce module.

Dans ce module, nous allons découvrir la programmation client-serveur et la manière dont les applications Java distribuées peuvent communiquer entre elles à l'aide de sockets. Comme la communication via les sockets se fait au niveau des octets, nous apprendrons à sérialiser les objets en octets dans le processus émetteur et à désérialiser les octets en objets dans le processus récepteur. Les sockets et la sérialisation fournissent le contexte nécessaire au mini-projet de serveur de fichiers associé à ce module. Nous apprendrons également ce qu'est l'invocation de méthodes à distance (RMI), qui étend la notion d'invocation de méthodes dans un programme séquentiel à un environnement de programmation distribué. De même, nous découvrirons les sockets multicast, qui généralisent l'interface socket standard pour permettre à un expéditeur d'envoyer le même message à un ensemble spécifié de récepteurs ; cette capacité peut être très utile pour un certain nombre d'applications, y compris les flux d'informations, les vidéoconférences et les jeux multi-joueurs. Enfin, nous découvrirons les applications distribuées de type publication-abonnement et la manière dont elles peuvent être mises en œuvre à l'aide du cadre Apache Kafka.

Rejoignez le professeur Vivek Sarkar qui s'entretient avec Jim Ward, directeur général de Two Sigma, et Eric Allen, vice-président senior, dans leurs bureaux de Houston, au Texas, sur l'importance de la programmation distribuée.

Dans ce module, nous allons apprendre à écrire des applications distribuées dans le modèle SPMD (Single Program Multiple Data), en particulier en utilisant la bibliothèque MPI (Message Passing Interface). Les processus MPI peuvent envoyer et recevoir des messages en utilisant des primitives de communication point à point, dont la structure et la sémantique sont différentes de celles du passage de messages avec des sockets. Nous apprendrons également à connaître les propriétés d'ordonnancement des messages et de blocage des programmes MPI. Les communications non bloquantes sont une extension intéressante des communications point à point, puisqu'elles peuvent être utilisées pour éviter les retards dus au blocage et pour éviter les erreurs liées au blocage. Enfin, nous étudierons la communication collective, qui peut impliquer plusieurs processus d'une manière plus puissante que les opérations multicast et publish-subscribe. Les connaissances de MPI acquises dans ce module seront mises en pratique dans le mini-projet associé à ce module sur l'implémentation d'un programme de multiplication matricielle distribuée en MPI.

Dans ce module, nous étudierons les rôles des processus et des threads en tant qu'éléments de base des programmes Java parallèles, concurrents et distribués. Sur cette base, nous apprendrons à mettre en œuvre des serveurs multithreads pour améliorer la réactivité des applications distribuées écrites à l'aide de sockets, et nous appliquerons ces connaissances dans le mini-projet sur la mise en œuvre d'un serveur de fichiers parallèle utilisant à la fois le multithreading et les sockets. Une approche analogue peut également être utilisée pour combiner MPI et le multithreading, afin d'améliorer les performances des applications MPI distribuées. Les acteurs distribués constituent un autre exemple de combinaison de la distribution et du multithreading. Une propriété notable du modèle d'acteur est que les mêmes constructions de haut niveau peuvent être utilisées pour communiquer entre des acteurs s'exécutant dans le même processus et entre des acteurs se trouvant dans des processus différents ; la différence entre les deux cas dépend de la configuration de l'application, plutôt que du code de l'application. Enfin, nous découvrirons le modèle de programmation réactive et son utilité pour la mise en œuvre d'architectures distribuées orientées services utilisant des événements asynchrones.

Les deux prochaines vidéos montreront l'importance d'apprendre la programmation parallèle et la programmation concurrente en Java. Le professeur Vivek Sarkar s'entretiendra avec des professionnels de l'industrie à Two Sigma sur la manière dont les thèmes de nos deux autres cours sont utilisés sur le terrain.