Master the complete data engineering pipeline from ingestion to analytics. Learn to build scalable data systems using Apache Kafka, Spark, and cloud platforms while integrating cutting-edge generative AI technologies. Apply your skills through hands-on projects that mirror real-world data engineering challenges in modern enterprises.
Spécialisation Building Smarter Data Pipelines: SQL, Spark, Kafka & GenAI
Nouveau ! Découvrez comment 91 % des apprenants ont obtenu au moins un résultat professionnel positif. En savoir plus.
Spécialisation Building Smarter Data Pipelines: SQL, Spark, Kafka & GenAI
Build Scalable Data Engineering Systems. Learn to design, implement, and optimize data pipelines using industry-standard tools and frameworks
Instructeurs : Caio Avelino
Inclus avec 
Approfondissez votre connaissance d’un sujet
(5 avis)
niveau Intermédiaire
Expérience recommandée
1 mois à raison de 10 heures par semaine
Planning flexible
Obtenir une qualification professionnelle
Partagez votre expertise avec les employeurs
Approfondissez votre connaissance d’un sujet
(5 avis)
niveau Intermédiaire
Expérience recommandée
1 mois à raison de 10 heures par semaine
Planning flexible
Obtenir une qualification professionnelle
Partagez votre expertise avec les employeurs
Ce que vous apprendrez
Design and implement scalable data ingestion, processing, and storage systems using Apache Kafka and Spark
Build high-performance data pipelines integrating cloud platforms, databases, and generative AI technologies
Apply data engineering best practices for enterprise-scale analytics, optimization, and real-time processing
Vue d'ensemble
Compétences que vous acquerrez
Outils que vous découvrirez
Ce qui est inclus
Certificat partageable
Ajouter à votre profil LinkedIn
Enseigné en Anglais
Récemment mis à jour !
août 2025
26 exercices pratiques
Améliorez votre expertise en la matière
- Acquérez des compétences recherchées auprès d’universités et d’experts du secteur
- Maîtrisez un sujet ou un outil avec des projets pratiques
- Développez une compréhension approfondie de concepts clés
- Obtenez un certificat professionnel auprès de Coursera Instructor Network
Spécialisation - série de 8 cours
Ce que vous apprendrez
Analyse the architecture and components of data pipelines to understand their impact on data flow and processing efficiency.
Implement robust ETL processes, for scalability and maintainability.
Analyze big data challenges and introduce Hadoop ecosystem tools (HDFS, MapReduce, Hive, Pig, and Spark) for data processing tasks.
Compétences que vous acquerrez
Apache Hadoop, Data Pipelines, Big Data, Extract, Transform, Load, Data Strategy, Data Migration, Data Quality, Data Management, Data Warehousing, Apache Spark, Strategic Decision-Making, Business Analytics, Apache Hive, Data Processing, Data Transformation, Data Integration, Data Analysis et Scalability
Ce que vous apprendrez
Identify and describe the components and importance of data ecosystems.
Understand the basic structure and function of data pipelines.
Recognize the steps involved in ETL workflows and their role in data handling.
Gain an introductory knowledge of big data and the application of Apache Spark.
Compétences que vous acquerrez
Extract, Transform, Load, Data Pipelines, Apache Spark, Data Infrastructure, Dataflow, Scalability, Data Architecture, Big Data, Data Management, Data Processing et Data Integration
Ce que vous apprendrez
Explain the importance of data warehousing in business intelligence.
Design and implement effective schema designs for data warehouses.
Implement ETL processes to load and transform data into a data warehouse.
Apply performance optimization techniques to enhance data warehouse efficiency.
Compétences que vous acquerrez
Extract, Transform, Load, Data Warehousing, Snowflake Schema, Star Schema, Data Integration, Data Modeling, Databases, Database Design, Data Management, Performance Tuning, Data Transformation, Business Intelligence et Scalability
Ce que vous apprendrez
Analyze and tune SQL queries to enhance SQL performance and reduce application latency.
Evaluate effective database index and maintenance task strategies to improve efficiency.
Monitor the performance of troubleshooting techniques used for resolving common SQL server issues.
Apply best practices for SQL Server performance to ensure consistent and reliable operations.
Compétences que vous acquerrez
Performance Tuning, Microsoft SQL Servers, Network Troubleshooting, System Monitoring, SQL, Stored Procedure, Scalability, Database Design, Database Management et Application Performance Management
Ce que vous apprendrez
Show understanding of the fundamentals of cloud architecture, including key components like virtual machines, storage, and networking.
Identify and implement core cloud design patterns such as Load Balancer, Circuit Breaker, and Auto-Scaling to ensure scalability and reliability.
Demonstrate advanced cloud design patterns, including Microservices Architecture, Event-Driven Architecture, and Serverless Computing.
Compétences que vous acquerrez
Microservices, Load Balancing, Serverless Computing, Cloud Computing Architecture, Software Design Patterns, Software Architecture, Cloud Services, Cloud Security, Scalability, Infrastructure As A Service (IaaS), Event-Driven Programming, Cloud Platforms, Cloud Infrastructure, Cloud Computing et Cloud Applications
Ce que vous apprendrez
Identify the capabilities of GenAI for basic role specific, Data Engineer functions.
Examine real-world applications to leverage GenAI for streamlining work and fostering innovation in Data Engineering functions.
Deploy strategies and tactics to responsibly integrate GenAI into data engineering practices, while maintaining human oversight and accountability.
Compétences que vous acquerrez
Generative AI, Database Management, Responsible AI, Data Pipelines, AI Product Strategy, Prompt Engineering, Data Modeling, SQL, Data Ethics, Data Quality et Data Transformation
Ce que vous apprendrez
Describe Apache Kafka's architecture and its components, enhancing data pipeline efficiency.
Configure and manage Kafka clusters, ensuring high availability and fault tolerance.
Apply (Create and use) topics, publishers, and subscribers to facilitate real-time data exchange.
Implement basic stream processing applications using Kafka Streams, addressing real-world data challenges.
Compétences que vous acquerrez
Real Time Data, Apache Kafka, Scalability, Performance Tuning, System Monitoring, Operational Databases, Data Pipelines et Data Processing
Ce que vous apprendrez
Compétences que vous acquerrez
Data Quality, Data Cleansing, Generative AI, Automation, Alteryx, Data Validation, Tensorflow, Data Transformation, Data Processing, Responsible AI, Artificial Intelligence et OpenAI
Obtenez un certificat professionnel
Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.
Instructeurs
6 Cours6 399 apprenants
28 Cours48 452 apprenants
Offert par
Comparer avec des produits similaires
| Évaluation | ||||
|---|---|---|---|---|
| Niveau | ||||
| Compétences | ||||
| Outils | ||||
| Dernière mise à jour | ||||
| Nombre d'exercices pratiques | ||||
| Éligibilité au diplôme | ||||
| Partie de Coursera Plus |
Vous aimerez peut-être aussi
Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?
Felipe M.
Étudiant(e) depuis 2018
’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’
Jennifer J.
Étudiant(e) depuis 2020
’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’
Larry W.
Étudiant(e) depuis 2021
’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’
Chaitanya A.
’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’
Ouvrez de nouvelles portes avec Coursera Plus
Accès illimité à 10,000+ cours de niveau international, projets pratiques et programmes de certification prêts à l'emploi - tous inclus dans votre abonnement.
Faites progresser votre carrière avec un diplôme en ligne
Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne
Rejoignez plus de 3 400 entreprises mondiales qui ont choisi Coursera pour les affaires
Améliorez les compétences de vos employés pour exceller dans l’économie numérique
Foire Aux Questions
This course is completely online, so there’s no need to show up to a classroom in person. You can access your lectures, readings and assignments anytime and anywhere via the web or your mobile device.
Yes! To get started, click the course card that interests you and enroll. You can enroll and complete the course to earn a shareable certificate. When you subscribe to a course that is part of a Specialization, you’re automatically subscribed to the full Specialization. Visit your learner dashboard to track your progress.
Yes. In select learning programs, you can apply for financial aid or a scholarship if you can’t afford the enrollment fee. If fin aid or scholarship is available for your learning program selection, you’ll find a link to apply on the description page.
Plus de questions
Aide financière disponible,