Azure Databricks unterstützt alltägliche Datenverarbeitungsfunktionen, wie Lesen, Schreiben und Abfragen. In diesem Modul werden Sie mit großen Datenmengen aus verschiedenen Quellen in unterschiedlichen Rohformaten arbeiten. Außerdem lernen Sie, die DataFrame Column Class Azure Databricks zu verwenden, um Transformationen auf Spaltenebene, wie Sortierungen, Filter und Aggregationen, anzuwenden. Sie werden auch erweiterte DataFrame-Funktionsoperationen verwenden, um Daten zu manipulieren, Aggregate anzuwenden und Datums- und Zeitoperationen in Azure Databricks durchzuführen.

Azure Databricks unterstützt eine Reihe von eingebauten SQL-Funktionen. Manchmal müssen Sie jedoch eine benutzerdefinierte Funktion schreiben, die so genannte User-Defined Function (UDF). In diesem Modul lernen Sie, wie man UDFs registriert und aufruft. Außerdem lernen Sie, wie Sie mit Delta Lake Daten in Apache Spark-Tabellen erstellen, anhängen und einfügen und dabei die Vorteile der eingebauten Zuverlässigkeit und Optimierungen nutzen.

In diesem Modul lernen Sie, wie Sie das PySpark-Paket für maschinelles Lernen verwenden, um Schlüsselkomponenten der Arbeitsabläufe für maschinelles Lernen zu erstellen, die die explorative Datenanalyse, das Modelltraining und die Modellbewertung umfassen. Außerdem lernen Sie, wie Sie Pipelines für gängige Datenfeaturisierungsaufgaben erstellen.

In diesem Modul lernen Sie, wie Sie MLflow verwenden, um Experimente zum maschinellen Lernen zu verfolgen, und wie Sie Module aus der Bibliothek für maschinelles Lernen von Spark für die Abstimmung von Hyperparametern und die Modellauswahl verwenden.

In diesem Modul lernen Sie, wie Sie das Horovod-Framework von Uber zusammen mit der Petastorm-Bibliothek verwenden, um verteilte Deep Learning-Trainingsaufträge auf Spark mit Trainingsdatensätzen im Apache Parquet-Format auszuführen. Außerdem lernen Sie, wie Sie mit MLflow und dem Azure Machine Learning Service ein trainiertes Modell registrieren, verpacken und sowohl auf Azure Container Instance als auch auf Azure Kubernetes Service als Scoring Web Service bereitstellen.