Building a data pipeline is easy. Building one that automatically recovers from failures, maintains data integrity during outages, and runs reliably in production—that's what separates junior engineers from platform architects.
Orchestrate & Recover Real-Time Data Pipelines
il reste 6 jours ! Acquérir des compétences de haut niveau avec Coursera Plus pour 199 $ (régulièrement 399 $). Économisez maintenant.
Orchestrate & Recover Real-Time Data Pipelines
Ce cours fait partie de Spécialisation Real-Time, Real Fast: Kafka & Spark for Data Engineers
Instructeurs : Starweaver
Inclus avec
Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.
niveau Intermédiaire
Expérience recommandée
4 heures à compléter
Planning flexible
Apprenez à votre propre rythme
Ce que vous apprendrez
Build and schedule streaming and batch-adjacent workflows using a modern orchestrator, such as Airflow or Prefect.
IImplement reliability patterns like idempotence, checkpointing, DLQs, and backfills for fault-tolerant and exactly-once-ish processing.
Design multi-region recovery strategies (mirroring/replication) and run playbooks to restore pipelines after partial or regional failures.
Compétences que vous acquerrez
- Catégorie : Apache Spark
- Catégorie : Apache Airflow
- Catégorie : Real Time Data
- Catégorie : Data Infrastructure
- Catégorie : Data Processing
- Catégorie : Data Integrity
- Catégorie : Disaster Recovery
- Catégorie : Workflow Management
- Catégorie : Data Pipelines
- Catégorie : Data Storage Technologies
- Catégorie : Apache Kafka
- Catégorie : Site Reliability Engineering
Détails à connaître
Certificat partageable
Ajouter à votre profil LinkedIn
Récemment mis à jour !
janvier 2026
Évaluations
1 devoir
Enseigné en Anglais
Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées
Élaborez votre expertise du sujet
Ce cours fait partie de la Spécialisation Real-Time, Real Fast: Kafka & Spark for Data Engineers
Lorsque vous vous inscrivez à ce cours, vous êtes également inscrit(e) à cette Spécialisation.
- Apprenez de nouveaux concepts auprès d'experts du secteur
- Acquérez une compréhension de base d'un sujet ou d'un outil
- Développez des compétences professionnelles avec des projets pratiques
- Obtenez un certificat professionnel partageable
Il y a 3 modules dans ce cours
Learners set up a modern orchestrator and build a first DAG/flow that runs reliably. We cover scheduling, retries, task dependencies, and lightweight observability. By the end, learners will ship a minimal but production-aware pipeline.
Inclus
4 vidéos2 lectures1 évaluation par les pairs
We move from “works on my machine” to “recovers on its own.” Learners add exactly-once-ish processing, checkpointing, schema controls, and dead-letter queues. The module emphasizes designing for replay and safe backfills.
Inclus
3 vidéos1 lecture1 évaluation par les pairs
Learners design for failure domains—task, job, cluster, and region. We cover backfills vs. reprocessing, Delta time travel for safe fixes, and Kafka replication patterns (MirrorMaker 2, uReplicator) for DR.
Inclus
4 vidéos1 lecture1 devoir2 évaluations par les pairs
Obtenez un certificat professionnel
Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.
Offert par
En savoir plus sur Security
Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?
Felipe M.
Étudiant(e) depuis 2018
’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’
Jennifer J.
Étudiant(e) depuis 2020
’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’
Larry W.
Étudiant(e) depuis 2021
’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’
Chaitanya A.
’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’
Ouvrez de nouvelles portes avec Coursera Plus
Accès illimité à 10,000+ cours de niveau international, projets pratiques et programmes de certification prêts à l'emploi - tous inclus dans votre abonnement.
Faites progresser votre carrière avec un diplôme en ligne
Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne
Rejoignez plus de 3 400 entreprises mondiales qui ont choisi Coursera pour les affaires
Améliorez les compétences de vos employés pour exceller dans l’économie numérique
Foire Aux Questions
To access the course materials, assignments and to earn a Certificate, you will need to purchase the Certificate experience when you enroll in a course. You can try a Free Trial instead, or apply for Financial Aid. The course may offer 'Full Course, No Certificate' instead. This option lets you see all course materials, submit required assessments, and get a final grade. This also means that you will not be able to purchase a Certificate experience.
When you enroll in the course, you get access to all of the courses in the Specialization, and you earn a certificate when you complete the work. Your electronic Certificate will be added to your Accomplishments page - from there, you can print your Certificate or add it to your LinkedIn profile.
Yes. In select learning programs, you can apply for financial aid or a scholarship if you can’t afford the enrollment fee. If fin aid or scholarship is available for your learning program selection, you’ll find a link to apply on the description page.
Plus de questions
Aide financière disponible,