Dans cette section, nous explorons les environnements locaux et basés sur le cloud pour les pipelines d'ingénierie des données, en nous concentrant sur les processus de configuration, les compromis et les applications pratiques.

Dans cette section, nous explorons les API d'Apache Spark, en nous concentrant sur DataFrame et Dataset pour le traitement des données distribuées.

Dans cette section, nous explorons l'utilisation de l'API JDBC de Spark pour l'accès aux bases de données, la conception d'interfaces de base de données et l'exécution d'opérations avec chargement de configuration.

Dans cette section, nous explorons les magasins d'objets, les lacs de données et les entrepôts de données, en nous concentrant sur leur rôle dans la gestion efficace des flux de données à grande échelle.

Dans cette section, nous explorons les transformations, les agrégations, les jointures et les fonctions de fenêtre de Spark afin d'améliorer le traitement des données pour la BI et l'analytique. Les concepts clés comprennent la manipulation efficace des données et le développement de pipelines.

Dans cette section, nous explorons Deequ pour la mise en œuvre des contrôles de qualité des données, l'analyse de l'exhaustivité et de l'exactitude, et la définition des contraintes pour garantir la fiabilité des pipelines de données.

Dans cette section, nous explorons le développement piloté par les tests, l'analyse statique du code et le linting afin d'améliorer la qualité du code, la maintenabilité et la cohérence dans les projets d'ingénierie des données.

Dans cette section, nous explorons les pratiques CI/CD avec GitHub pour automatiser les flux de travail du pipeline de données Scala, en nous concentrant sur les actions GitHub, le contrôle de version et les processus de déploiement fiables.

Dans cette section, nous explorons l'orchestration de pipelines de données à l'aide d'outils tels que Airflow, Argo, Databricks et Azure Data Factory. Nous nous concentrons sur la conception du flux de travail, la gestion des tâches et les stratégies de mise en œuvre dans le monde réel.

Dans cette section, nous analysons les métriques de l'interface utilisateur de Spark afin d'identifier les problèmes de performance, d'optimiser le brassage des données et de dimensionner correctement les ressources de calcul pour un traitement efficace des données.

Dans cette section, nous explorons la construction de pipelines batch à l'aide de Spark et Scala, en nous concentrant sur l'architecture en médaillon, l'ingestion de données, la transformation et l'orchestration pour un traitement de données évolutif.

Dans cette section, nous explorons la construction de pipelines de données en temps réel à l'aide de Spark, Scala et Kafka pour les applications IoT. Les concepts clés incluent l'ingestion de données, la transformation et la conception de la couche de service.