Vous mettrez en œuvre des stratégies de partitionnement et de mise en cache afin d'obtenir des gains de performances mesurables dans le traitement distribué des données.

Vous acquerrez les compétences de base nécessaires à l'analyse des plans d'exécution distribués afin d'identifier les goulots d'étranglement liés au brassage des données et aux schémas de déséquilibre dans les applications Spark.

Vous mettrez en œuvre des stratégies d'optimisation avancées afin de résoudre les goulots d'étranglement identifiés en matière de performances, grâce au réglage des partitions, aux jointures de diffusion et à des techniques d'optimisation de la configuration.

Vous comprendrez pourquoi les fonctionnalités transactionnelles sont essentielles à la fiabilité d'un lac de données, vous découvrirez les concepts fondamentaux des transactions ACID et de la gestion des versions, et vous apprendrez à convertir des tables Parquet existantes au format Delta transactionnel.

Vous effectuerez des opérations atomiques d'écriture et de suppression sous conditions, interrogez l'historique des versions des tables à des fins d'audit, vérifierez les capacités de restauration à l'aide de l'historique des versions, et démontrerez votre maîtrise du sujet à travers des travaux pratiques et une évaluation complète.

Vous acquerrez une compréhension des principes fondamentaux de la sécurité dans le cloud, des méthodes de chiffrement et des concepts de contrôle d'accès nécessaires à la mise en place d'une infrastructure de données sécurisée à l'aide de l'« Infrastructure as Code ».

Vous mettrez en place une infrastructure de données sécurisée dans le cloud à l'aide de Terraform, en créant un stockage chiffré doté de contrôles d'accès adaptés et d'une isolation réseau, ce qui permettra de démontrer l'application concrète des principes de sécurité.

Vous acquerrez des connaissances de base sur les compromis liés aux formats de stockage et commencerez à comparer les approches en colonnes et celles orientées lignes pour les charges de travail analytiques.

Vous réaliserez des tests comparatifs concrets des performances des différents formats de stockage et formulerez des recommandations fondées sur des données factuelles, à l'image des processus décisionnels utilisés par les professionnels de l'ingénierie des données.

Vous mènerez un projet complet d'optimisation de l'infrastructure de données, qui intégrera l'optimisation des performances de Spark, la mise en place de mesures de sécurité dans le cloud et l'évaluation de l'architecture de stockage. Ce projet combine l'optimisation du calcul distribué, la conception d'infrastructures cloud et les principes du stockage de données pour aboutir à une solution d'entreprise réaliste.