In groß angelegten Data-Engineering-Umgebungen können Leistungsprobleme wie langsame Transformationen, übermäßige Shuffle-Operationen und unausgewogene Arbeitslasten die Analytik, das Berichtswesen und die Einhaltung von SLAs beeinträchtigen. In diesem Kurs lernen Sie, wie Sie Apache-Spark-Anwendungen analysieren, diagnostizieren und optimieren, damit diese schneller, effizienter und zuverlässiger laufen. Zu Beginn des Kurses lernen Sie die Grundlagen der Spark-Jobausführung kennen, einschließlich der Frage, wie Stages, Tasks, Shuffle-Operationen und Ausführungspläne Aufschluss darüber geben, wo Engpässe auftreten. Sie lernen die in Spark integrierten Überwachungstools kennen, um das Jobverhalten zu interpretieren. Anschließend wenden Sie praktische Optimierungstechniken an, darunter die Verbesserung der Datenpartitionierung, die Minderung von Datenschiefheiten, die Optimierung von Joins, die Konfiguration von Caching-Strategien und die Auswahl effizienter Dateiformate. Außerdem lernen Sie, wie Sie Executor, Arbeitsspeicher, Rechenkerne und die dynamische Zuweisung anpassen, um Kosten und Leistung über verschiedene Workloads hinweg auszugleichen.

Die Teilnehmer sollten über Grundkenntnisse in Python und Spark DataFrames verfügen; Kenntnisse in JSON und SQL sind von Vorteil. Dieser Kurs richtet sich an Dateningenieure und Entwickler, die Spark-Jobs diagnostizieren und optimieren müssen, die auf groß angelegten, verteilten Datenpipelines laufen. Am Ende des Kurses verfügen Sie über die Fähigkeiten, fortgeschrittene Tuning-Strategien sicher anzuwenden, den Durchsatz zu verbessern, den Shuffle-Overhead zu reduzieren und die Ressourcennutzung zu optimieren.