Packt

Data Engineering with Scala and Spark

Sparen Sie mit 40% Rabatt auf 3 Monate Coursera Plus bei den Fähigkeiten, die Sie zum Strahlen bringen. Jetzt sparen

kurs ist nicht verfügbar in Deutsch (Deutschland)

Wir übersetzen es in weitere Sprachen.
Packt

Data Engineering with Scala and Spark

Bei Coursera Plus enthalten

Verschaffen Sie sich einen Einblick in ein Thema und lernen Sie die Grundlagen.
Stufe Mittel

Empfohlene Erfahrung

2 Wochen zu vervollständigen
unter 10 Stunden pro Woche
Flexibler Zeitplan
In Ihrem eigenen Lerntempo lernen
Verschaffen Sie sich einen Einblick in ein Thema und lernen Sie die Grundlagen.
Stufe Mittel

Empfohlene Erfahrung

2 Wochen zu vervollständigen
unter 10 Stunden pro Woche
Flexibler Zeitplan
In Ihrem eigenen Lerntempo lernen

Was Sie lernen werden

  • Set up a development environment for building data pipelines in Scala

  • Use Spark DataFrames, Datasets, and SQL with Scala for data processing

  • Profile and clean data using Deequ for improved data quality

Kompetenzen, die Sie erwerben

  • Kategorie: Continuous Deployment
  • Kategorie: Test Driven Development (TDD)
  • Kategorie: Maintainability
  • Kategorie: CI/CD
  • Kategorie: Continuous Integration
  • Kategorie: Data Processing
  • Kategorie: Performance Tuning
  • Kategorie: Unit Testing
  • Kategorie: Data Pipelines
  • Kategorie: Data Architecture
  • Kategorie: Data Transformation
  • Kategorie: Data Store
  • Kategorie: Data Quality
  • Kategorie: Data Integrity
  • Kategorie: Data Validation

Werkzeuge, die Sie lernen werden

  • Kategorie: Scala Programming
  • Kategorie: Data Lakes
  • Kategorie: Apache Kafka
  • Kategorie: Apache Spark
  • Kategorie: Apache Airflow

Wichtige Details

Zertifikat zur Vorlage

Zu Ihrem LinkedIn-Profil hinzufügen

Kürzlich aktualisiert!

März 2026

Bewertungen

13 Aufgaben

Unterrichtet in Englisch

Erfahren Sie, wie Mitarbeiter führender Unternehmen gefragte Kompetenzen erwerben.

 Logos von Petrobras, TATA, Danone, Capgemini, P&G und L'Oreal

In diesem Kurs gibt es 13 Module

In this section, we explore functional programming, higher-order functions, polymorphic functions, and pattern matching in Scala for data engineering applications.

Das ist alles enthalten

2 Videos6 Lektüren1 Aufgabe

In this section, we explore cloud-based and local environments for data engineering pipelines, focusing on setup processes, trade-offs, and practical applications.

Das ist alles enthalten

1 Video5 Lektüren1 Aufgabe

In this section, we explore Apache Spark's APIs, focusing on DataFrame and Dataset for distributed data processing.

Das ist alles enthalten

1 Video3 Lektüren1 Aufgabe

In this section, we explore using Spark JDBC API for database access, designing database interfaces, and performing operations with configuration loading.

Das ist alles enthalten

1 Video3 Lektüren1 Aufgabe

In this section, we explore object stores, data lakes, and lakehouses, focusing on their roles in managing large-scale data workflows efficiently.

Das ist alles enthalten

1 Video6 Lektüren1 Aufgabe

In this section, we explore Spark transformations, aggregations, joins, and window functions to enhance data processing for BI and analytics. Key concepts include efficient data manipulation and pipeline development.

Das ist alles enthalten

1 Video4 Lektüren1 Aufgabe

In this section, we explore Deequ for implementing data quality checks, analyzing completeness and accuracy, and defining constraints to ensure reliable data pipelines.

Das ist alles enthalten

1 Video3 Lektüren1 Aufgabe

In this section, we explore test-driven development, static code analysis, and linting to improve code quality, maintainability, and consistency in data engineering projects.

Das ist alles enthalten

1 Video4 Lektüren1 Aufgabe

In this section, we explore CI/CD practices with GitHub to automate Scala data pipeline workflows, focusing on GitHub Actions, version control, and reliable deployment processes.

Das ist alles enthalten

1 Video4 Lektüren1 Aufgabe

In this section, we explore data pipeline orchestration using tools like Airflow, Argo, Databricks, and Azure Data Factory. We focus on workflow design, task management, and real-world implementation strategies.

Das ist alles enthalten

1 Video6 Lektüren1 Aufgabe

In this section, we analyze Spark UI metrics to identify performance issues, optimize data shuffling, and right-size compute resources for efficient data processing.

Das ist alles enthalten

1 Video4 Lektüren1 Aufgabe

In this section, we explore building batch pipelines using Spark and Scala, focusing on medallion architecture, data ingestion, transformation, and orchestration for scalable data processing.

Das ist alles enthalten

1 Video5 Lektüren1 Aufgabe

In this section, we explore building real-time data pipelines using Spark, Scala, and Kafka for IoT applications. Key concepts include data ingestion, transformation, and serving layer design.

Das ist alles enthalten

1 Video4 Lektüren1 Aufgabe

Dozent

Packt - Course Instructors
Packt
1.778 Kurse511.404 Lernende

von

Packt

Mehr von Data Management entdecken

Warum entscheiden sich Menschen für Coursera für ihre Karriere?

Felipe M.

Lernender seit 2018
„Es ist eine großartige Erfahrung, in meinem eigenen Tempo zu lernen. Ich kann lernen, wenn ich Zeit und Nerven dazu habe.“

Jennifer J.

Lernender seit 2020
„Bei einem spannenden neuen Projekt konnte ich die neuen Kenntnisse und Kompetenzen aus den Kursen direkt bei der Arbeit anwenden.“

Larry W.

Lernender seit 2021
„Wenn mir Kurse zu Themen fehlen, die meine Universität nicht anbietet, ist Coursera mit die beste Alternative.“

Chaitanya A.

„Man lernt nicht nur, um bei der Arbeit besser zu werden. Es geht noch um viel mehr. Bei Coursera kann ich ohne Grenzen lernen.“

Häufig gestellte Fragen