Dans ce module, nous examinerons en détail la pile Hadoop, depuis les composants de base HDFS jusqu'aux cadres d'exécution des applications, en passant par les langages et les services.

Dans ce module, nous allons examiner en détail le système de fichiers distribués Hadoop (HDFS). Nous couvrirons les principaux objectifs de conception de HDFS, comprendrons le processus de lecture/écriture sur HDFS, les principaux paramètres de configuration qui peuvent être réglés pour contrôler la performance et la robustesse de HDFS, et nous aurons un aperçu des différentes façons dont vous pouvez accéder aux données sur HDFS.

Ce module présente les concepts et la pratique de Map/Reduce. Vous découvrirez l'idée générale de Map/Reduce et vous apprendrez à concevoir, implémenter et exécuter des tâches dans le cadre de Map/Reduce. Vous apprendrez également les compromis dans map/reduce et comment cela motive d'autres outils.

Bienvenue au module 5, Introduction à Spark, cette semaine nous allons nous concentrer sur le cadre de calcul en cluster Apache Spark, un concurrent important de Hadoop MapReduce dans l'arène du Big Data. Spark offre de grands avantages en termes de performances par rapport à Hadoop MapReduce, en particulier pour les algorithmes itératifs, grâce à la mise en cache en mémoire. De plus, Spark permet aux scientifiques de données d'écrire plus facilement leur pipeline d'analyse en Python et Scala, et fournit même des shells interactifs pour jouer en direct avec les données.