Dans cette section, nous abordons l'ingestion de données avec la DLT, l'application de modifications et la configuration de pipelines pour l'évolutivité.

Dans cette section, nous examinons la mise en œuvre des attentes en matière de qualité des données dans les pipelines DLT, la validation de l'intégrité des données avec des ensembles de données temporaires et la mise en quarantaine des données de mauvaise qualité en vue de leur correction.

Dans cette section, nous abordons la mise à l'échelle des pipelines DLT par le biais de l'optimisation des clusters, de la mise à l'échelle automatique et des techniques Delta Lake.

Dans cette section, nous explorons la mise en œuvre de la gouvernance des données dans un Lakehouse à l'aide d'Unity Catalog, en nous concentrant sur les contrôles d'accès, la découverte des données et le suivi de la lignée pour la conformité et la sécurité.

Dans cette section, nous abordons la gestion des emplacements de stockage des données dans Unity Catalog avec une gouvernance et un contrôle d'accès sécurisés.

Dans cette section, nous explorons le lignage des données dans Unity Catalog, en retraçant les origines, en visualisant les transformations et en identifiant les dépendances pour garantir l'intégrité des données et la détection proactive des problèmes.

Dans cette section, nous couvrons le déploiement et la gestion des pipelines DLT à l'aide de Terraform dans Databricks.

Dans cette section, nous explorons les Databricks Asset Bundles (DAB) pour rationaliser le déploiement des pipelines de données, en mettant l'accent sur l'intégration GitHub, le contrôle des versions et la collaboration entre équipes.

Dans cette section, nous explorons la surveillance des pipelines de données à l'aide de Databricks, en nous concentrant sur la santé, les performances et la qualité des données. Les techniques incluent les alertes DBSQL et les déclencheurs webhook pour la résolution des problèmes en temps réel.