Eine Datenpipeline aufzubauen ist einfach. Eine Pipeline zu entwickeln, die sich automatisch von Ausfällen erholt, die Datenintegrität bei Ausfällen gewährleistet und im Produktivbetrieb zuverlässig läuft – das ist es, was Junior-Entwickler von Plattformarchitekten unterscheidet.

In diesem Kurs lernen Sie, selbstheilende Pipelines zu entwerfen, die von Anfang an über automatisierte Wiederherstellung, Fehlertoleranz und integrierte Notfallwiederherstellung verfügen. Sie lernen, Streaming-Workflows mit modernen Orchestratoren wie Airflow und Prefect zu erstellen und zu planen, Zuverlässigkeitsmuster wie Idempotenz, Checkpointing und Dead-Letter-Queues für eine „Exactly-Once-ish“-Verarbeitung zu implementieren sowie regionenübergreifende Wiederherstellungsstrategien zu entwerfen, die den Datenfluss bei regionalen Ausfällen aufrechterhalten. Anhand von praktischen Übungen und Beispielen aus der Praxis von Airbnb, LinkedIn, Netflix und Uber meistern Sie die Orchestrierungs- und Wiederherstellungstechniken, die aus anfälligen Skripten eine produktionsreife Infrastruktur machen. Lernen Sie, automatisierte Wiederholungsversuche zu handhaben, sichere Backfills durchzuführen, checkpointbasierte Wiederherstellung zu implementieren und Disaster-Recovery-Playbooks auszuführen, die Pipelines nach Ausfällen wiederherstellen. Ingenieure, die Echtzeit-Datenpipelines aufbauen oder warten und ihre Fähigkeiten in den Bereichen Orchestrierung, Zuverlässigkeit und Wiederherstellung ausbauen möchten. Grundkenntnisse in Python und SQL, der Linux-Befehlszeile sowie den Grundlagen von Kafka. Ein Cloud-Konto ist hilfreich, aber nicht zwingend erforderlich. Am Ende des Kurses sind die Teilnehmer in der Lage, Echtzeit-Datenpipelines zu entwerfen, zu orchestrieren und wiederherzustellen, die im Produktionsmaßstab zuverlässig laufen.