Acquérez des compétences pratiques en ingénierie des données en apprenant à concevoir, développer et exécuter des pipelines ETL (Extract, Transform, Load) de bout en bout à l'aide d'Apache Spark. Dans cette formation pratique, vous commencerez par mettre en place un environnement de développement Spark, installer et configurer PySpark, Hadoop et MySQL, organiser les structures de projets ETL et explorer des ensembles de données réels.

Au fur et à mesure de votre progression, vous mettrez en œuvre des workflows ETL complets et incrémentiels à l’aide d’Apache Spark. Vous intégrerez Spark à MySQL via JDBC, appliquerez une logique de transformation des données avec Spark SQL, effectuerez des filtrages selon des règles métier et résoudrez des problèmes courants tels que la compatibilité des types de données et les défis liés à la structure des projets. Grâce à des exercices pratiques guidés, vous acquerrez de l’expérience dans la création de workflows ETL évolutifs dans un environnement PySpark. Ce cours s’adresse aux futurs ingénieurs de données, aux professionnels du big data et aux apprenants qui souhaitent acquérir une expérience pratique du développement ETL basé sur Spark. À l’issue de ce cours, vous serez capable de construire, d’exécuter et d’optimiser des pipelines ETL Spark, de mettre en œuvre des stratégies de chargement de données complètes et incrémentielles, et d’intégrer des applications Spark à des bases de données relationnelles via JDBC pour des workflows d’ingénierie des données en situation réelle.