When will I receive my Course Certificate?

If you complete the course successfully, your electronic Course Certificate will be added to your Accomplishments page - from there, you can print your Course Certificate or add it to your LinkedIn profile.

Why can’t I audit this course?

This course is currently available only to learners who have paid or received financial aid, when available.

Is financial aid available?

Yes. In select learning programs, you can apply for financial aid or a scholarship if you can’t afford the enrollment fee. If fin aid or scholarship is available for your learning program selection, you’ll find a link to apply on the description page.

Databricks Associate Developer: Apache Spark with Python

Ce cours n'est pas disponible en Français (France)

Nous sommes actuellement en train de le traduire dans plus de langues.

Databricks Associate Developer: Apache Spark with Python

Instructeur : Packt - Course Instructors

Inclus avec En savoir plus

Demander à Coursera

8 modules

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.

niveau Intermédiaire

Expérience recommandée

2 semaines à compléter

à 10 heures par semaine

Planning flexible

Apprenez à votre propre rythme

8 modules

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.

niveau Intermédiaire

Expérience recommandée

2 semaines à compléter

à 10 heures par semaine

Planning flexible

Apprenez à votre propre rythme

Ce que vous apprendrez

Create and manipulate SQL queries in Apache Spark
Build complex Spark functions using user-defined functions (UDFs)
Develop real-time applications using Spark Streaming

Compétences que vous acquerrez

Catégorie : Real Time Data
Catégorie : SQL
Catégorie : Model Evaluation
Catégorie : Applied Machine Learning
Catégorie : Performance Tuning
Catégorie : Data Transformation
Catégorie : Big Data
Catégorie : Data Manipulation
Catégorie : Data Processing
Catégorie : Machine Learning
Catégorie : Distributed Computing
Catégorie : Apache

Outils que vous découvrirez

Catégorie : PySpark
Catégorie : Databricks
Catégorie : Python Programming
Catégorie : Apache Spark

Détails à connaître

Certificat partageable

Ajouter à votre profil LinkedIn

Évaluations

8 devoirs

Enseigné en Anglais

Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées

En savoir plus sur Coursera pour les affaires

logos de Petrobras, TATA, Danone, Capgemini, P&G et L'Oreal

Il y a 8 modules dans ce cours

This course equips you with essential skills for working with Apache Spark using Python, preparing you for Databricks' certification exam. Apache Spark is a powerful open-source engine for processing large-scale data, and mastering it is a key asset in the data engineering and big data domain.

Throughout the course, learners will gain hands-on experience with Spark's core components, including data processing, streaming, and machine learning. Practical examples and exercises will build confidence and ensure you're ready for real-world challenges. What sets this course apart is its strong focus on practical skills and real-world applications of Apache Spark. You'll not only learn the theory but also apply your knowledge in hands-on projects that reinforce the concepts. This course is ideal for aspiring data engineers, analysts, or scientists who want to achieve Databricks certification. A solid understanding of Python is required, and familiarity with Pyspark is beneficial, but not mandatory.

In this section, we introduce the Spark certification exam structure, review question types, and outline a step-by-step preparation strategy to enhance exam readiness.

Inclus

2 vidéos1 lecture1 devoir

In this section, we explore Apache Spark's architecture, components, and applications, focusing on its role in big data processing, machine learning, and real-time analytics.

Inclus

1 vidéo7 lectures1 devoir

In this section, we will learn Spark's architecture, execution hierarchy, and key operations for efficient big data processing.

Inclus

1 vidéo4 lectures1 devoir

In this section, we explore PySpark DataFrame operations, focusing on data manipulation, viewing, and aggregation techniques for efficient big data processing.

Inclus

1 vidéo5 lectures1 devoir

1 vidéoTotal 1 minute

Spark DataFrames and Their Operations - Overview Video1 minute

5 lecturesTotal 150 minutes

Introduction30 minutes
Viewing Columns of Data30 minutes
Converting a PySpark DataFrame to a Pandas DataFrame30 minutes
Changing the Case of a Column30 minutes
Dropping Null Values from a DataFrame30 minutes

1 devoirTotal 10 minutes

Spark DataFrame Fundamentals10 minutes

In this section, we explore advanced Spark operations, including groupBy, join optimizations, and AQE, to enhance performance and scalability in data processing workflows.

Inclus

1 vidéo10 lectures1 devoir

1 vidéoTotal 1 minute

Advanced Operations and Optimizations in Spark - Overview Video1 minute

10 lecturesTotal 240 minutes

Introduction20 minutes
Joining DataFrames in Spark30 minutes
Use case30 minutes
Reading and Writing Data30 minutes
Reading and Writing Delta Files20 minutes
Catalyst Optimizer20 minutes
Data-based Optimizations in Apache Spark20 minutes
Managing Data Spills in Apache Spark20 minutes
Shuffle Joins20 minutes
Optimizing Wide Transformations30 minutes

1 devoirTotal 10 minutes

Mastering Spark Execution and Data Management10 minutes

In this section, we explore Spark SQL for structured data processing, covering query implementation, data analysis, and integration with external systems.

Inclus

1 vidéo4 lectures1 devoir

In this section, we explore real-time data processing with Spark, focusing on Structured Streaming, streaming architectures, and joins for dynamic data handling.

Inclus

1 vidéo4 lectures1 devoir

In this section, we will learn Spark ML workflows, scalable data analysis, and model evaluation techniques for real-world applications.

Inclus

10 lectures1 devoir

10 lecturesTotal 190 minutes

Introduction20 minutes
Unsupervised Learning10 minutes
ML with Spark10 minutes
Spark MLlib10 minutes
ML Life Cycle30 minutes
Handling Categorical Variables20 minutes
Assembling the Vector20 minutes
Cross-validation20 minutes
Model Monitoring and Management20 minutes
Model Iteration and Improvement30 minutes

1 devoirTotal 10 minutes

Machine Learning with Spark ML10 minutes

Instructeur

Packt - Course Instructors

Packt

2 110 Cours634 889 apprenants

Offert par

Packt

Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?

Felipe M.

Étudiant(e) depuis 2018

’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’

Jennifer J.

Étudiant(e) depuis 2020

’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’

Larry W.

Étudiant(e) depuis 2021

’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’

Chaitanya A.

’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’

Débloquez l'accès à plus de 10 000 cours grâce à un abonnement
Faites progresser votre carrière avec un diplôme en ligne
Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne
Rejoignez les 4 700 entreprises internationales qui ont choisi Coursera for Business.

Foire Aux Questions

Yes, you can preview the first video and view the syllabus before you enroll. You must purchase the course to access content not included in the preview.

If you decide to enroll in the course before the session start date, you will have access to all of the lecture videos and readings for the course. You’ll be able to submit assignments once the session starts.

Once you enroll and your session begins, you will have access to all videos and other resources, including reading items and the course discussion forum. You’ll be able to view and submit practice assessments, and complete required graded assignments to earn a grade and a Course Certificate.