Ce cours pratique dote les apprenants des compétences nécessaires pour concevoir, construire et gérer des flux de travail ETL (Extraction, Transformation, Chargement) de bout en bout à l'aide d'Apache Spark dans un contexte réel d'ingénierie des données. Structuré en deux modules complets, le cours commence par une configuration fondamentale, guidant les apprenants à travers l'installation de composants essentiels tels que PySpark, Hadoop et MySQL. Les participants apprendront à configurer leur environnement, à organiser les structures de projet et à explorer efficacement les ensembles de données sources. Au fur et à mesure que le cours progresse, les apprenants développeront des applications Spark pour effectuer des chargements de données complets et incrémentiels en utilisant l'intégration JDBC avec MySQL. Grâce à des exemples pratiques, ils appliqueront une logique de transformation à l'aide de Spark SQL, filtreront les données en fonction des règles métier et traiteront les pièges courants tels que les incohérences de type et les problèmes de structure de dossier lors du déploiement de Spark. À la fin du cours, les apprenants seront en mesure de construire, d'exécuter et d'optimiser des pipelines ETL basés sur Spark qui sont évolutifs et prêts pour la production, ce qui leur permettra de contribuer efficacement à des rôles d'ingénierie des données dans le monde réel.