Sie werden Partitionierungs- und Caching-Strategien umsetzen, um messbare Leistungssteigerungen bei der verteilten Datenverarbeitung zu erzielen.

Sie erwerben grundlegende Fähigkeiten zur Analyse verteilter Ausführungspläne, um Leistungsengpässe zu identifizieren, die durch Datenverschiebungen und Skew-Muster in Spark-Anwendungen verursacht werden.

Sie werden fortgeschrittene Optimierungsstrategien anwenden, um festgestellte Leistungsengpässe durch Partitionsoptimierung, Broadcast-Joins und Techniken zur Konfigurationsoptimierung zu beheben.

Sie werden verstehen, warum Transaktionsfunktionen für die Zuverlässigkeit eines Data Lake unerlässlich sind, die grundlegenden Konzepte von ACID-Transaktionen und Versionierung kennenlernen und erfahren, wie Sie bestehende Parquet-Tabellen in das transaktionale Delta-Format konvertieren können.

Sie werden atomare Schreib- und Löschvorgänge unter bestimmten Bedingungen ausführen, historische Tabellenversionen zu Audit-Zwecken abfragen, die Rollback-Fähigkeiten anhand des Versionsverlaufs überprüfen und Ihre Kenntnisse durch praktische Laborübungen und eine umfassende Prüfung unter Beweis stellen.

Sie werden die grundlegenden Prinzipien der Cloud-Sicherheit, Verschlüsselungsmethoden und Konzepte der Zugriffskontrolle kennenlernen, die für die Bereitstellung einer sicheren Dateninfrastruktur mithilfe von „Infrastructure as Code“ erforderlich sind.

Sie werden mithilfe von Terraform eine sichere Cloud-Dateninfrastruktur implementieren und dabei einen verschlüsselten Speicher mit angemessenen Zugriffskontrollen und Netzwerkisolierung einrichten, wodurch die praktische Anwendung von Sicherheitsprinzipien veranschaulicht wird.

Sie erwerben grundlegende Kenntnisse über die Vor- und Nachteile verschiedener Speicherformate und beginnen damit, spaltenorientierte und zeilenorientierte Ansätze für analytische Workloads zu vergleichen.

Sie führen praktische Leistungsvergleiche verschiedener Speicherformate durch und erarbeiten fundierte Empfehlungen, die den Entscheidungsprozessen im professionellen Data Engineering entsprechen.

Sie werden ein umfassendes Projekt zur Optimierung der Dateninfrastruktur entwickeln, das die Leistungsoptimierung von Spark, die Einrichtung von Cloud-Sicherheitsmaßnahmen und die Bewertung der Speicherarchitektur umfasst. Dieses Projekt vereint die Optimierung verteilter Rechensysteme, die Konzeption von Cloud-Infrastrukturen und die Prinzipien des Data Warehousing zu einer realistischen Unternehmenslösung.