In diesem Abschnitt befassen wir uns mit cloudbasierten und lokalen Umgebungen für Data-Engineering-Pipelines und konzentrieren uns dabei auf Einrichtungsprozesse, Vor- und Nachteile sowie praktische Anwendungsbeispiele.

In diesem Abschnitt befassen wir uns mit den APIs von Spark und konzentrieren uns dabei auf DataFrame und Dataset für die verteilte Datenverarbeitung.

In diesem Abschnitt befassen wir uns mit der Verwendung der Spark-JDBC-API für den Datenbankzugriff, der Gestaltung von Datenbankschnittstellen und der Durchführung von Operationen unter Einbeziehung von Konfigurationsdaten.

In diesem Abschnitt befassen wir uns mit Objektspeichern, Data Lakes und Lakehouses und konzentrieren uns dabei auf deren Rolle bei der effizienten Verwaltung groß angelegter Datenworkflows.

In diesem Abschnitt befassen wir uns mit Spark-Transformationen, Aggregationen, Joins und Fensterfunktionen, um die Datenverarbeitung für BI und Analytik zu optimieren. Zu den wichtigsten Konzepten zählen die effiziente Datenbearbeitung und die Entwicklung von Datenpipelines.

In diesem Abschnitt befassen wir uns mit Deequ, um Datenqualitätsprüfungen durchzuführen, die Vollständigkeit und Richtigkeit zu analysieren und Einschränkungen festzulegen, um zuverlässige Datenpipelines zu gewährleisten.

In diesem Abschnitt befassen wir uns mit testgetriebener Entwicklung, statischer Codeanalyse und Linting, um die Codequalität, Wartbarkeit und Konsistenz in Data-Engineering-Projekten zu verbessern.

In diesem Abschnitt befassen wir uns mit CI/CD-Verfahren unter Verwendung von GitHub zur Automatisierung von Scala-Datenpipeline-Workflows, wobei der Schwerpunkt auf GitHub Actions, Versionskontrolle und zuverlässigen Bereitstellungsprozessen liegt.

In diesem Abschnitt befassen wir uns mit der Orchestrierung von Datenpipelines mithilfe von Tools wie Airflow, Argo, Databricks und Azure Data Factory. Dabei konzentrieren wir uns auf das Workflow-Design, das Aufgabenmanagement und praktische Implementierungsstrategien.

In diesem Abschnitt analysieren wir die Spark-UI-Metriken, um Leistungsprobleme zu identifizieren, das Daten-Shuffling zu optimieren und die Rechenressourcen für eine effiziente Datenverarbeitung bedarfsgerecht anzupassen.

In diesem Abschnitt befassen wir uns mit der Erstellung von Batch-Pipelines unter Verwendung von Spark und Scala, wobei der Schwerpunkt auf der Medallion-Architektur, der Datenerfassung, der Datentransformation und der Orchestrierung für eine skalierbare Datenverarbeitung liegt.

In diesem Abschnitt befassen wir uns mit der Erstellung von Echtzeit-Datenpipelines unter Verwendung von Spark, Scala und Kafka für IoT-Anwendungen. Zu den wichtigsten Konzepten zählen die Datenerfassung, die Datentransformation und die Gestaltung der Ausgabeschicht.