Dieser praxisorientierte Kurs vermittelt den Teilnehmern die Fähigkeit, durchgängige ETL-Workflows (Extrahieren, Transformieren, Laden) mit Apache Spark in einem realen Data Engineer-Kontext zu entwerfen, zu erstellen und zu verwalten. Der Kurs ist in zwei umfassende Module gegliedert und beginnt mit der grundlegenden Einrichtung, wobei die Teilnehmer durch die Installation der wesentlichen Komponenten wie PySpark, Hadoop und MySQL geführt werden. Die Teilnehmer lernen, ihre Umgebung zu konfigurieren, Projektstrukturen zu organisieren und Quelldatensätze effektiv zu erforschen. Im weiteren Verlauf des Kurses entwickeln die Teilnehmer Spark-Anwendungen, um vollständige und inkrementelle Datenladungen mithilfe der JDBC-Integration mit MySQL durchzuführen. Anhand praktischer Beispiele wenden sie Transformationslogik mit Spark SQL an, filtern Daten auf der Grundlage von Geschäftsregeln und behandeln häufige Probleme wie Typabweichungen und Probleme mit der Ordnerstruktur während der Spark-Bereitstellung. Am Ende des Kurses sind die Teilnehmer in der Lage, Spark-basierte ETL-Pipelines zu konstruieren, auszuführen und zu optimieren, die skalierbar und produktionsbereit sind, so dass sie in der Lage sind, einen effektiven Beitrag in realen Data-Engineering-Rollen zu leisten.