Automate Data Pipelines: Schema Evolution

Ce cours n'est pas disponible en Français (France)

Nous sommes actuellement en train de le traduire dans plus de langues.

Automate Data Pipelines: Schema Evolution

Ce cours fait partie de Spécialisation "LLM Optimization & Evaluation"

Instructeur : LearningMate

Inclus avec

3 modules

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.

niveau Intermédiaire

Expérience recommandée

2 heures à compléter

Planning flexible

Apprenez à votre propre rythme

3 modules

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.

niveau Intermédiaire

Expérience recommandée

2 heures à compléter

Planning flexible

Apprenez à votre propre rythme

Ce que vous apprendrez

Build automated data pipelines with Apache Airflow, manage schema evolution to prevent failures, and implement monitoring for data integrity.

Compétences que vous acquerrez

Catégorie : Data Quality
Catégorie : Data Modeling
Catégorie : Data Pipelines
Catégorie : Data Integrity
Catégorie : Data Validation
Catégorie : Data Transformation
Catégorie : Continuous Monitoring
Catégorie : Extract, Transform, Load
Catégorie : System Monitoring

Outils que vous découvrirez

Catégorie : Apache Airflow

Détails à connaître

Certificat partageable

Ajouter à votre profil LinkedIn

Récemment mis à jour !

décembre 2025

Évaluations

7 affectations¹

Noté par l'IA voir l'avis de non-responsabilité

Enseigné en Anglais

Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées

En savoir plus sur Coursera pour les affaires

logos de Petrobras, TATA, Danone, Capgemini, P&G et L'Oreal

Élaborez votre expertise du sujet

Ce cours fait partie de la Spécialisation "LLM Optimization & Evaluation"

Lorsque vous vous inscrivez à ce cours, vous êtes également inscrit(e) à cette Spécialisation.

Apprenez de nouveaux concepts auprès d'experts du secteur
Acquérez une compréhension de base d'un sujet ou d'un outil
Développez des compétences professionnelles avec des projets pratiques
Obtenez un certificat professionnel partageable

Il y a 3 modules dans ce cours

Automate Data Pipelines: Schema Evolution is an intermediate course designed for data engineers, analysts, and developers looking to build robust, failure-resistant data workflows. In today's dynamic data landscape, pipelines often break when source data structures change unexpectedly—a problem known as schema drift. This course tackles that challenge head-on, teaching you how to design and automate data pipelines that can gracefully handle schema evolution using Apache Airflow.

You will gain hands-on experience designing, building, and scheduling complex data pipelines (DAGs) that automate ETL processes from extraction to loading. The curriculum places a strong emphasis on creating idempotent workflows that detect and adapt to schema changes, ensuring data integrity and preventing costly failures. Through practical labs and real-world case studies from companies like Uber and BharatPe, you will implement data validation checks and build comprehensive monitoring and alerting systems. By the end of this course, you will be equipped to create resilient, scalable, and fully automated data pipelines that are built to withstand the complexities of real-world data environments.

This module provides a deep dive into the world of workflow automation with Apache Airflow. You will move from understanding the core concepts of DAGs and operators to building a complete, scheduled data pipeline in a hands-on lab. The focus is on creating robust, idempotent workflows that form the backbone of reliable data systems.

Inclus

1 vidéo2 lectures2 devoirs

Data sources are not static. This module addresses the critical skill of managing schema evolution. You will learn how to analyze the downstream impact of source data changes and use dbt to adapt your data quality tests, ensuring your pipelines remain robust and trustworthy even as data structures evolve.

Inclus

2 vidéos2 lectures2 devoirs

2 vidéosTotal 10 minutes

The Silent Pipeline Killer: Schema Drift4 minutes
Writing and Adapting dbt Tests5 minutes

2 lecturesTotal 7 minutes

Understanding Schema Drift and Data Lineage3 minutes
How-To: Documenting and Communicating Schema Changes4 minutes

2 devoirsTotal 17 minutes

Hands-On Learning: Handling Schema Evolution with dbt Testing12 minutes
Knowledge Check: Schema Impact5 minutes

This module extends beyond building pipelines to tackle "silent failures"—where a successful run produces bad data—and establishes observability as the core defense. You will instrument Airflow DAGs to emit key health metrics like freshness, volume, and duration, and configure automated alerts using on_failure_callback. By the end, you will construct resilient pipelines that fail loudly, ensuring data integrity and stakeholder trust.

Inclus

2 vidéos1 lecture3 devoirs

2 vidéosTotal 9 minutes

When a Tree Falls: The Danger of Silent Failures3 minutes
Building-In Failure Alerts6 minutes

1 lectureTotal 5 minutes

Designing for Observability5 minutes

3 devoirsTotal 50 minutes

Hands-On Learning: Enhancing Your DAG with Monitoring and Alerting15 minutes
Knowledge Check: Monitoring Concepts5 minutes
Final Project: Building a Resilient & Monitored Pipeline30 minutes

Obtenez un certificat professionnel

Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.

Instructeur

LearningMate

275 Cours26 160 apprenants

Offert par

Coursera

En savoir plus sur Software Development

Statut : Essai gratuit
Coursera
Manage Schema Evolution in Real‑Time Data
Cours
Statut : Essai gratuit
Coursera
Building Automated Data Pipelines with Spark,dbt,and Airflow
Cours
Statut : Essai gratuit
Coursera
Automate, Optimize, and Benchmark Data Pipelines
Cours
Statut : Essai gratuit
Coursera
Build & Transform Data Pipelines
Cours

Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?

Felipe M.

Étudiant(e) depuis 2018

’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’

Jennifer J.

Étudiant(e) depuis 2020

’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’

Larry W.

Étudiant(e) depuis 2021

’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’

Chaitanya A.

’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’

Unlock access to 10,000+ courses with a subscription
Faites progresser votre carrière avec un diplôme en ligne
Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne
Join over 4,700 global companies that choose Coursera for Business

Foire Aux Questions

To access the course materials, assignments and to earn a Certificate, you will need to purchase the Certificate experience when you enroll in a course. You can try a Free Trial instead, or apply for Financial Aid. The course may offer 'Full Course, No Certificate' instead. This option lets you see all course materials, submit required assessments, and get a final grade. This also means that you will not be able to purchase a Certificate experience.

When you enroll in the course, you get access to all of the courses in the Specialization, and you earn a certificate when you complete the work. Your electronic Certificate will be added to your Accomplishments page - from there, you can print your Certificate or add it to your LinkedIn profile.

Yes. In select learning programs, you can apply for financial aid or a scholarship if you can’t afford the enrollment fee. If fin aid or scholarship is available for your learning program selection, you’ll find a link to apply on the description page.

Plus de questions

Visitez le Centre d'Aide pour les Étudiants

Aide financière disponible,

¹ Certains travaux de ce cours sont notés par l'IA. Pour ces travaux, vos Données internes seront utilisées conformément à Notification de confidentialité de Coursera.