Beherrschen Sie den Entwurf und die Implementierung konsistenter Streaming-Datenpipelines mit Apache Kafka, Spark und Flink. In diesem praxisorientierten Kurs wenden Sie systematische Entscheidungsrahmen an, um auf der Grundlage von Geschäftsanforderungen und der Analyse von Ausfallszenarien geeignete Zustellungsgarantien (at-most-once, at-least-once, exactly-once) auszuwählen. Sie implementieren eine durchgängige „Exactly-Once“-Verarbeitung, indem Sie Kafka-Producer-Transaktionen, Spark Structured Streaming-Checkpoints und Hudi-Transaktionstabellen konfigurieren, und validieren anschließend Ihre Implementierung durch Integrationstests mit Fehlerinjektion. Abschließend bewerten Sie Watermarking-Strategien durch die Analyse von Ereigniseintrittsmustern, um den Kompromiss zwischen Latenz und Vollständigkeit zu optimieren und spezifische SLA-Anforderungen zu erfüllen. Anhand realistischer Szenarien – von der Vermeidung doppelter Abrechnungen in der Auftragsabwicklung bis hin zur Optimierung von IoT-Ereignispipelines für eine P95-Latenz unter 10 Sekunden – entwickeln Sie die Fähigkeiten, Produktions-Streaming-Systeme zu entwerfen, die Korrektheit, Leistung und einfache Bedienbarkeit in Einklang bringen.

Daten- und Plattformingenieure mit mittleren Kenntnissen, die Kafka, Spark oder Flink einsetzen und Produktions-Streaming-Pipelines mit korrekten Zustellungsgarantien, „Exactly-Once“-Semantik und Verarbeitung mit geringer Latenz entwerfen möchten. Grundkenntnisse über verteilte Systeme; grundlegende Erfahrung mit Apache Kafka oder ähnlichen Messaging-Systemen; Vertrautheit mit SQL; sowie erste Erfahrungen mit Konzepten der Stream- oder Batch-Datenverarbeitung. Am Ende dieses Kurses sind Sie in der Lage, produktionsreife Streaming-Pipelines mit korrekten Zustellungsgarantien, „Exactly-Once“-Semantik und einer Verarbeitung mit geringer Latenz in Echtzeit zu entwerfen und zu validieren.