Coursera

Spécialisation "Building Smarter Data Pipelines: SQL, Spark, Kafka & GenAI "

Développez des compétences très recherchées grâce à un abonnement d'un an à Coursera Plus, désormais à 239 $. Profitez-en dès maintenant.

Coursera

Spécialisation "Building Smarter Data Pipelines: SQL, Spark, Kafka & GenAI "

Build Scalable Data Engineering Systems.

Learn to design, implement, and optimize data pipelines using industry-standard tools and frameworks

Caio Avelino
Starweaver
Soheil Haddadi

Instructeurs : Caio Avelino

2 846 déjà inscrits

Inclus avec Coursera PlusEn savoir plus

Approfondissez votre connaissance d’un sujet

des 106 examens de cours de ce programme

niveau Intermédiaire

Expérience recommandée

4 semaines à compléter
à 10 heures par semaine
Approfondissez votre connaissance d’un sujet

des 106 examens de cours de ce programme

niveau Intermédiaire

Expérience recommandée

4 semaines à compléter
à 10 heures par semaine

Ce que vous apprendrez

  • Design and implement scalable data ingestion, processing, and storage systems using Apache Kafka and Spark

  • Build high-performance data pipelines integrating cloud platforms, databases, and generative AI technologies

  • Apply data engineering best practices for enterprise-scale analytics, optimization, and real-time processing

Compétences que vous acquerrez

  • Catégorie : Quality Management
  • Catégorie : Generative AI
  • Catégorie : Real Time Data
  • Catégorie : Data Modeling
  • Catégorie : Data Governance
  • Catégorie : Database Design
  • Catégorie : Data Warehousing
  • Catégorie : Data Quality
  • Catégorie : Performance Tuning
  • Catégorie : Scalability
  • Catégorie : Business Intelligence
  • Catégorie : Data Pipelines
  • Catégorie : Responsible AI
  • Catégorie : Extract, Transform, Load
  • Catégorie : Cloud Computing Architecture

Outils que vous découvrirez

  • Catégorie : Apache Spark
  • Catégorie : Apache Kafka
  • Catégorie : Apache Hadoop
  • Catégorie : Microsoft SQL Servers
  • Catégorie : SQL

Détails à connaître

Certificat partageable

Ajouter à votre profil LinkedIn

Enseigné en Anglais
Récemment mis à jour !

juin 2026

Planning flexible
Apprenez à votre propre rythme

Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées

 logos de Petrobras, TATA, Danone, Capgemini, P&G et L'Oreal

Améliorez votre expertise en la matière

  • Acquérez des compétences recherchées auprès d’universités et d’experts du secteur
  • Maîtrisez un sujet ou un outil avec des projets pratiques
  • Développez une compréhension approfondie de concepts clés
  • Obtenez un certificat professionnel auprès de Coursera

Spécialisation - série de 9 cours

Engineering Data Ecosystems: Pipelines, ETL, Spark

Engineering Data Ecosystems: Pipelines, ETL, Spark

COURS 1, 3 heures

Ce que vous apprendrez

  • Identify and describe the components and importance of data ecosystems.

  • Understand the basic structure and function of data pipelines.

  • Recognize the steps involved in ETL workflows and their role in data handling.

  • Gain an introductory knowledge of big data and the application of Apache Spark.

Compétences que vous acquerrez

Catégorie : Extract, Transform, Load
Catégorie : Data Integration
Catégorie : Data Processing
Catégorie : Big Data
Catégorie : Data Pipelines
Catégorie : Data Management
Catégorie : Apache Spark
Data Engineering: Pipelines, ETL, Hadoop

Data Engineering: Pipelines, ETL, Hadoop

COURS 2, 3 heures

Ce que vous apprendrez

  • Analyse the architecture and components of data pipelines to understand their impact on data flow and processing efficiency.

  • Implement robust ETL processes, for scalability and maintainability.

  • Analyze big data challenges and introduce Hadoop ecosystem tools (HDFS, MapReduce, Hive, Pig, and Spark) for data processing tasks.

Compétences que vous acquerrez

Catégorie : Apache Hadoop
Catégorie : Data Warehousing
Catégorie : Data Integration
Catégorie : Apache Hive
Catégorie : Data-Driven Decision-Making
Catégorie : Data Analysis
Catégorie : Apache Spark
Catégorie : Scalability
Catégorie : Dataflow
Catégorie : Data Architecture
Catégorie : Extract, Transform, Load
Catégorie : Data Processing
Catégorie : Data Management
Catégorie : Data Transformation
Catégorie : Big Data
Catégorie : Data Pipelines
Data Warehousing: Schema, ETL, Optimal Performance

Data Warehousing: Schema, ETL, Optimal Performance

COURS 3, 3 heures

Ce que vous apprendrez

  • Explain the importance of data warehousing in business intelligence.

  • Design and implement effective schema designs for data warehouses.

  • Implement ETL processes to load and transform data into a data warehouse.

  • Apply performance optimization techniques to enhance data warehouse efficiency.

Compétences que vous acquerrez

Catégorie : Query Languages
Catégorie : Business Intelligence
Catégorie : Database Design
Catégorie : Extract, Transform, Load
Catégorie : Data Management
Catégorie : Data Transformation
Catégorie : Data Warehousing
Catégorie : Performance Tuning
Catégorie : Databases
Microsoft SQL Server: Performance Tuning Essentials

Microsoft SQL Server: Performance Tuning Essentials

COURS 4, 3 heures

Ce que vous apprendrez

  • Analyze and tune SQL queries to enhance SQL performance and reduce application latency.

  • Evaluate effective database index and maintenance task strategies to improve efficiency.

  • Monitor the performance of troubleshooting techniques used for resolving common SQL server issues.

  • Apply best practices for SQL Server performance to ensure consistent and reliable operations.

Compétences que vous acquerrez

Catégorie : Database Management
Catégorie : Query Languages
Catégorie : Performance Tuning
Catégorie : Microsoft SQL Servers
Catégorie : SQL
Apache Kafka - An Introduction

Apache Kafka - An Introduction

COURS 5, 3 heures

Ce que vous apprendrez

  • Describe Apache Kafka's architecture and its components, enhancing data pipeline efficiency.

  • Configure and manage Kafka clusters, ensuring high availability and fault tolerance.

  • Apply (Create and use) topics, publishers, and subscribers to facilitate real-time data exchange.

  • Implement basic stream processing applications using Kafka Streams, addressing real-world data challenges.

Compétences que vous acquerrez

Catégorie : Apache Kafka
Catégorie : Data Pipelines
Catégorie : Real Time Data
Catégorie : Data Processing
Cloud Architecture Design Patterns

Cloud Architecture Design Patterns

COURS 6, 3 heures

Ce que vous apprendrez

  • Show understanding of the fundamentals of cloud architecture, including key components like virtual machines, storage, and networking.

  • Identify and implement core cloud design patterns such as Load Balancer, Circuit Breaker, and Auto-Scaling to ensure scalability and reliability.

  • Demonstrate advanced cloud design patterns, including Microservices Architecture, Event-Driven Architecture, and Serverless Computing.

Compétences que vous acquerrez

Catégorie : Cloud Deployment
Catégorie : Microservices
Catégorie : Cloud Computing Architecture
Catégorie : Cloud Solutions
Catégorie : Infrastructure As A Service (IaaS)
Catégorie : Cloud Computing
Catégorie : Load Balancing
Catégorie : Software Design Patterns
Catégorie : Scalability
Catégorie : Serverless Computing
Design Real-Time Architectures with Spark & Kafka

Design Real-Time Architectures with Spark & Kafka

COURS 7, 4 heures

Ce que vous apprendrez

  • Examine core real-time data principles and how Kafka and Spark support streaming architectures.

  • Create real-time pipelines by connecting Kafka topics with Spark Structured Streaming.

  • Improve and deploy streaming systems using monitoring, fault tolerance, and tuning.

Compétences que vous acquerrez

Catégorie : Data Transformation
Catégorie : Application Deployment
Catégorie : Apache Kafka
Catégorie : Real-Time Operating Systems
Catégorie : Architecture and Construction
Catégorie : Real Time Data
Catégorie : Systems Architecture
Catégorie : Performance Tuning
Catégorie : Performance Management
Catégorie : Event-Driven Programming
Catégorie : Scalability
Catégorie : Apache Spark
Catégorie : Data Pipelines
Catégorie : Data Processing
Smart Data Cleaning with Generative AI

Smart Data Cleaning with Generative AI

COURS 8, 7 heures

Ce que vous apprendrez

Compétences que vous acquerrez

Catégorie : Artificial Intelligence
Catégorie : Alteryx
Catégorie : Data Cleansing
Catégorie : Responsible AI
Catégorie : Data Validation
Catégorie : OpenAI
Catégorie : Tensorflow
Catégorie : Generative AI
Catégorie : Data Quality
Catégorie : Data Preprocessing
Catégorie : Automation
GenAI for Data Engineers: Scaling with GenAI

GenAI for Data Engineers: Scaling with GenAI

COURS 9, 3 heures

Ce que vous apprendrez

  • Identify the capabilities of GenAI for basic role specific, Data Engineer functions.

  • Examine real-world applications to leverage GenAI for streamlining work and fostering innovation in Data Engineering functions.

  • Deploy strategies and tactics to responsibly integrate GenAI into data engineering practices, while maintaining human oversight and accountability.

Compétences que vous acquerrez

Catégorie : SQL
Catégorie : Responsible AI
Catégorie : Data Pipelines
Catégorie : Generative AI
Catégorie : Data Transformation
Catégorie : Data Modeling

Obtenez un certificat professionnel

Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.

Instructeurs

Caio Avelino
9 Cours10 230 apprenants
Starweaver
Coursera
648 Cours1 344 157 apprenants
Soheil Haddadi
Coursera
6 Cours7 565 apprenants

Offert par

Coursera

Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?

Felipe M.

Étudiant(e) depuis 2018
’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’

Jennifer J.

Étudiant(e) depuis 2020
’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’

Larry W.

Étudiant(e) depuis 2021
’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’

Chaitanya A.

’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’

Avis des étudiants sur Building Smarter Data Pipelines: SQL, Spark, Kafka & GenAI

moyenne sur l'ensemble des 9 cours

  • 5 étoiles

    63,79 %

  • 4 étoiles

    18,96 %

  • 3 étoiles

    9,48 %

  • 2 étoiles

    5,17 %

  • 1 étoile

    2,58 %

TC
Cours : Cloud Architecture Design Patterns

Révisé le 2 mars 2025

AL
Cours : Cloud Architecture Design Patterns

Révisé le 29 avr. 2025

Qu’est-ce qui vous amène sur Coursera aujourd’hui ?

Foire Aux Questions