Automate Data Pipelines: Schema Evolution

Sparen Sie mit 40% Rabatt auf 3 Monate Coursera Plus bei den Fähigkeiten, die Sie zum Strahlen bringen. Jetzt sparen

kurs ist nicht verfügbar in Deutsch (Deutschland)

Wir übersetzen es in weitere Sprachen.

Automate Data Pipelines: Schema Evolution

Dieser Kurs ist Teil von Spezialisierung „LLM Optimization & Evaluation“

Dozent: LearningMate

Bei enthalten

Mehr erfahren

3 Module

Verschaffen Sie sich einen Einblick in ein Thema und lernen Sie die Grundlagen.

Stufe Mittel

Empfohlene Erfahrung

2 Stunden zu vervollständigen

Flexibler Zeitplan

In Ihrem eigenen Lerntempo lernen

3 Module

Verschaffen Sie sich einen Einblick in ein Thema und lernen Sie die Grundlagen.

Stufe Mittel

Empfohlene Erfahrung

2 Stunden zu vervollständigen

Flexibler Zeitplan

In Ihrem eigenen Lerntempo lernen

Was Sie lernen werden

Build automated data pipelines with Apache Airflow, manage schema evolution to prevent failures, and implement monitoring for data integrity.

Kompetenzen, die Sie erwerben

Kategorie: Continuous Monitoring
Kategorie: Data Modeling
Kategorie: Data Integrity
Kategorie: Data Transformation
Kategorie: Data Validation
Kategorie: Data Pipelines
Kategorie: Data Quality
Kategorie: Extract, Transform, Load
Kategorie: System Monitoring

Werkzeuge, die Sie lernen werden

Kategorie: Apache Airflow

Wichtige Details

Zertifikat zur Vorlage

Zu Ihrem LinkedIn-Profil hinzufügen

Kürzlich aktualisiert!

Dezember 2025

Bewertungen

7 Zuweisungen¹

KI-bewertet siehe Haftungsausschluss

Unterrichtet in Englisch

Erfahren Sie, wie Mitarbeiter führender Unternehmen gefragte Kompetenzen erwerben.

Weitere Informationen zu Coursera für Unternehmen

Logos von Petrobras, TATA, Danone, Capgemini, P&G und L'Oreal

Erweitern Sie Ihre Fachkenntnisse

Dieser Kurs ist Teil der Spezialisierung Spezialisierung „LLM Optimization & Evaluation“

Wenn Sie sich für diesen Kurs anmelden, werden Sie auch für diese Spezialisierung angemeldet.

Lernen Sie neue Konzepte von Branchenexperten
Gewinnen Sie ein Grundverständnis bestimmter Themen oder Tools
Erwerben Sie berufsrelevante Kompetenzen durch praktische Projekte
Erwerben Sie ein Berufszertifikat zur Vorlage

In diesem Kurs gibt es 3 Module

Automate Data Pipelines: Schema Evolution is an intermediate course designed for data engineers, analysts, and developers looking to build robust, failure-resistant data workflows. In today's dynamic data landscape, pipelines often break when source data structures change unexpectedly—a problem known as schema drift. This course tackles that challenge head-on, teaching you how to design and automate data pipelines that can gracefully handle schema evolution using Apache Airflow.

You will gain hands-on experience designing, building, and scheduling complex data pipelines (DAGs) that automate ETL processes from extraction to loading. The curriculum places a strong emphasis on creating idempotent workflows that detect and adapt to schema changes, ensuring data integrity and preventing costly failures. Through practical labs and real-world case studies from companies like Uber and BharatPe, you will implement data validation checks and build comprehensive monitoring and alerting systems. By the end of this course, you will be equipped to create resilient, scalable, and fully automated data pipelines that are built to withstand the complexities of real-world data environments.

This module provides a deep dive into the world of workflow automation with Apache Airflow. You will move from understanding the core concepts of DAGs and operators to building a complete, scheduled data pipeline in a hands-on lab. The focus is on creating robust, idempotent workflows that form the backbone of reliable data systems.

Das ist alles enthalten

1 Video2 Lektüren2 Aufgaben

Data sources are not static. This module addresses the critical skill of managing schema evolution. You will learn how to analyze the downstream impact of source data changes and use dbt to adapt your data quality tests, ensuring your pipelines remain robust and trustworthy even as data structures evolve.

Das ist alles enthalten

2 Videos2 Lektüren2 Aufgaben

2 VideosInsgesamt 10 Minuten

The Silent Pipeline Killer: Schema Drift4 Minuten
Writing and Adapting dbt Tests5 Minuten

2 LektürenInsgesamt 7 Minuten

Understanding Schema Drift and Data Lineage3 Minuten
How-To: Documenting and Communicating Schema Changes4 Minuten

2 AufgabenInsgesamt 17 Minuten

Hands-On Learning: Handling Schema Evolution with dbt Testing12 Minuten
Knowledge Check: Schema Impact5 Minuten

This module extends beyond building pipelines to tackle "silent failures"—where a successful run produces bad data—and establishes observability as the core defense. You will instrument Airflow DAGs to emit key health metrics like freshness, volume, and duration, and configure automated alerts using on_failure_callback. By the end, you will construct resilient pipelines that fail loudly, ensuring data integrity and stakeholder trust.

Das ist alles enthalten

2 Videos1 Lektüre3 Aufgaben

2 VideosInsgesamt 9 Minuten

When a Tree Falls: The Danger of Silent Failures3 Minuten
Building-In Failure Alerts6 Minuten

1 LektüreInsgesamt 5 Minuten

Designing for Observability5 Minuten

3 AufgabenInsgesamt 50 Minuten

Hands-On Learning: Enhancing Your DAG with Monitoring and Alerting15 Minuten
Knowledge Check: Monitoring Concepts5 Minuten
Final Project: Building a Resilient & Monitored Pipeline30 Minuten

Erwerben Sie ein Karrierezertifikat.

Fügen Sie dieses Zeugnis Ihrem LinkedIn-Profil, Lebenslauf oder CV hinzu. Teilen Sie sie in Social Media und in Ihrer Leistungsbeurteilung.

Dozent

LearningMate

275 Kurse26.542 Lernende

von

Coursera

Mehr von Software Development entdecken

Status: Kostenloser Testzeitraum
Coursera
Manage Schema Evolution in Real‑Time Data
Kurs
Status: Kostenloser Testzeitraum
Coursera
Building Automated Data Pipelines with Spark,dbt,and Airflow
Kurs
Status: Kostenloser Testzeitraum
Coursera
Automate, Optimize, and Benchmark Data Pipelines
Kurs
Status: Kostenloser Testzeitraum
Coursera
Build & Transform Data Pipelines
Kurs

Warum entscheiden sich Menschen für Coursera für ihre Karriere?

Felipe M.

Lernender seit 2018

„Es ist eine großartige Erfahrung, in meinem eigenen Tempo zu lernen. Ich kann lernen, wenn ich Zeit und Nerven dazu habe.“

Jennifer J.

Lernender seit 2020

„Bei einem spannenden neuen Projekt konnte ich die neuen Kenntnisse und Kompetenzen aus den Kursen direkt bei der Arbeit anwenden.“

Larry W.

Lernender seit 2021

„Wenn mir Kurse zu Themen fehlen, die meine Universität nicht anbietet, ist Coursera mit die beste Alternative.“

Chaitanya A.

„Man lernt nicht nur, um bei der Arbeit besser zu werden. Es geht noch um viel mehr. Bei Coursera kann ich ohne Grenzen lernen.“

Häufig gestellte Fragen

To access the course materials, assignments and to earn a Certificate, you will need to purchase the Certificate experience when you enroll in a course. You can try a Free Trial instead, or apply for Financial Aid. The course may offer 'Full Course, No Certificate' instead. This option lets you see all course materials, submit required assessments, and get a final grade. This also means that you will not be able to purchase a Certificate experience.

When you enroll in the course, you get access to all of the courses in the Specialization, and you earn a certificate when you complete the work. Your electronic Certificate will be added to your Accomplishments page - from there, you can print your Certificate or add it to your LinkedIn profile.

Yes. In select learning programs, you can apply for financial aid or a scholarship if you can’t afford the enrollment fee. If fin aid or scholarship is available for your learning program selection, you’ll find a link to apply on the description page.

Weitere Fragen

Besuchen Sie die das Hilfe-Center für Kursteilnehmer.

Finanzielle Unterstützung verfügbar,

¹ Einige Aufgaben in diesem Kurs werden mit AI bewertet. Für diese Aufgaben werden Ihre Daten in Übereinstimmung mit Datenschutzhinweis von Courseraverwendet.