Le module 2 présente aux étudiants les défis liés à la construction et à la gestion de systèmes distribués pour le stockage et le traitement des données volumineuses (big data). Il couvre les origines, les concepts, les composants de base et les caractéristiques clés de Hadoop, tout en explorant les outils et les services de l'écosystème Hadoop. Les étudiants acquerront une compréhension des systèmes de fichiers distribués, en particulier HDFS, de la gestion des ressources YARN et des différentes technologies pour un stockage et une organisation efficaces des big data.

Dans le module 3, les étudiants exploreront les différences entre le traitement de volumes de données petits à modérés et le traitement de volumes de données massifs par le biais de l'informatique distribuée. Ce module couvre les concepts clés du cadre MapReduce, y compris la façon dont il décompose les tâches de traitement de données volumineuses en tâches parallèles plus petites pour une exécution efficace. Les étudiants découvriront également les phases de MapReduce, le rôle des fonctions map et reduce, les modèles d'optimisation, ainsi que les avantages et les limites des différentes approches de développement, y compris MapReduce basé sur Java et Hadoop Streaming.

Dans le module 4, les étudiants exploreront Apache Spark en tant que puissant cadre de traitement distribué pour les tâches interactives, par lots et en continu. Ce module couvre les fonctionnalités de base de Spark, notamment l'apprentissage automatique, le traitement des graphes et le traitement des données structurées et non structurées, tout en mettant en évidence son potentiel de traitement en mémoire et sa nature unifiée. Les étudiants compareront Spark à MapReduce, découvriront les principaux composants de Spark, l'architecture d'exécution, les RDD (Resilient Distributed Datasets), les DataFrames, les Datasets, ainsi que les différentes méthodes de création et d'optimisation des DataFrames pour un traitement efficace des données.

Dans le module 5, les étudiants approfondiront les capacités de Spark en matière de manipulation et de transformation des données. Le module couvre les opérations essentielles telles que la sélection, le filtrage et le tri des données, ainsi que l'association de DataFrames et l'exécution d'agrégations. Les étudiants apprendront également à gérer les valeurs nulles, à utiliser Spark SQL pour les requêtes de données et à optimiser les performances avec la mise en cache. Les applications pratiques comprennent la création et la manipulation de DataFrames, l'exécution de transformations et d'actions, et l'écriture efficace de données dans différents formats.

Le module 6 présente aux étudiants les limites du traitement par lots et l'importance du traitement des données en temps réel. Il couvre les aspects essentiels du traitement des flux, notamment l'ingestion et l'analyse des données, en mettant l'accent sur des outils tels qu'Apache Kafka pour l'ingestion de flux et Spark Structured Streaming pour un traitement des données évolutif et tolérant aux pannes. Les étudiants exploreront également divers modèles de conception pour organiser des clusters de big data, le concept de lacs de données et l'architecture Lambda pour unifier le traitement des données en temps réel et par lots dans les environnements de données modernes.

Dans le module 7, les étudiants exploreront les avantages et les limites des bases de données relationnelles dans les contextes de big data et le concept de systèmes de bases de données distribuées. Ce module couvre les bases de données NoSQL, leurs divers modèles de données et leurs avantages en termes d'évolutivité et de flexibilité. Les étudiants découvriront également des cas d'utilisation réels, le partitionnement des données, les modèles de cohérence et le théorème CAP, ce qui leur permettra de comprendre comment les bases de données NoSQL gèrent de grands ensembles de données sur des clusters tout en garantissant l'évolutivité et la disponibilité.

Dans le module 8, les étudiants exploreront des types de bases de données NoSQL spécifiques, à savoir les bases de données clé-valeur, large-colonne et document. Deux systèmes similaires, HBase et Cassandra, seront étudiés et comparés dans le contexte du théorème CAP et des compromis CP/AP associés. Des sujets tels que la cohérence et la disponibilité seront discutés dans le contexte de scénarios d'utilisation spécifiques pour HBase et Cassandra - et les domaines d'application généraux des deux systèmes seront mis en évidence. Enfin, la base de données documentaire MongoDB sera examinée dans le contexte des cas d'utilisation du langage naturel/traitement de texte - et l'utilisation et l'architecture de MongoDB seront analysées par rapport aux SGBDR traditionnels.

Ce module contient l'évaluation sommative du cours qui a été conçue pour évaluer votre compréhension du matériel du cours et votre capacité à appliquer les connaissances que vous avez acquises tout au long du cours.