En règle générale, les pipelines de données fonctionnent sur le modèle "Extraction et chargement" (EL), "Extraction, chargement et transformation" (ELT), ou "Extraction, transformation et chargement" (ETL). Dans ce cours, vous apprendrez où et quand appliquer ces différents modèles à des lots de données. Vous découvrirez également plusieurs technologies Google Cloud Platform permettant de transformer des données, y compris BigQuery, Spark exécuté sur Cloud Dataproc, les graphiques de pipelines dans Cloud Data Fusion et le traitement de données sans serveur avec Cloud Dataflow. Vous aurez en outre l'occasion de créer les composants d'un pipeline de données sur Google Cloud Platform dans le cadre d'un atelier pratique QwikLabs.
This course is part of the Data Engineer, Big Data and ML on Google Cloud en Français Specialization
Offered By
About this Course
Shareable Certificate
Earn a Certificate upon completion
100% online
Start instantly and learn at your own schedule.
Course 3 of 5 in the
Flexible deadlines
Reset deadlines in accordance to your schedule.
Intermediate Level
Approx. 13 hours to complete
French
Subtitles: French, English
Shareable Certificate
Earn a Certificate upon completion
100% online
Start instantly and learn at your own schedule.
Course 3 of 5 in the
Flexible deadlines
Reset deadlines in accordance to your schedule.
Intermediate Level
Approx. 13 hours to complete
French
Subtitles: French, English
Offered by
Google Cloud
We help millions of organizations empower their employees, serve their customers, and build what’s next for their businesses with innovative technology created in—and for—the cloud. Our products are engineered for security, reliability, and scalability, running the full stack from infrastructure to applications to devices and hardware. Our teams are dedicated to helping customers apply our technologies to create success.
Syllabus - What you will learn from this course
6 minutes to complete
Introduction
Dans ce module, nous présentons le cours et son programme.
6 minutes to complete
2 videos (Total 6 min)
1 hour to complete
Introduction aux pipelines de données par lots
Ce module présente les différentes méthodes de chargement de données (EL, ELT et ETL) et leurs cas d'utilisation.
1 hour to complete
5 videos (Total 18 min)
5 videos
Considérations liées à la qualité1m
Comment réaliser des opérations dans BigQuery3m
Limitations3m
Processus ETL pour résoudre les problèmes liés à la qualité des données4m
1 practice exercise
EL, ELT et ETL30m
2 hours to complete
Exécuter Spark sur Cloud Dataproc
Dans ce module, vous apprendrez à exécuter Hadoop sur Cloud Dataproc, à exploiter GCS et à optimiser vos tâches Dataproc.
2 hours to complete
9 videos (Total 49 min)
9 videos
Exécuter Hadoop sur Cloud Dataproc10m
GCS au lieu de HDFS6m
Optimiser Dataproc5m
Optimiser le stockage Dataproc9m
Optimiser les modèles et l'autoscaling avec Dataproc4m
Optimiser la surveillance Dataproc3m
Présentation de l'atelier : Exécution de tâches Apache Spark sur Cloud Dataproc27s
Résumé31s
1 practice exercise
Exécuter Spark sur Cloud Dataproc4m
3 hours to complete
Gérer des pipelines de données avec Cloud Data Fusion et Cloud Composer
Dans ce module, vous apprendrez à gérer des pipelines de données avec Cloud Data Fusion et Cloud Composer.
3 hours to complete
11 videos (Total 45 min)
11 videos
Composants de Data Fusion2m
Créer un pipeline6m
Explorer des données avec Wrangler1m
Atelier : Créer et exécuter un graphique de pipeline dans Cloud Data Fusion17s
Organiser les tâches dans les services GCP avec Cloud Composer1m
Environnement Apache Airflow1m
DAG et opérateurs12m
Planification du workflow6m
Surveillance et journalisation4m
Atelier : Présentation de Cloud Composer12s
1 practice exercise
Cloud Data Fusion et Cloud Composer30m
7 hours to complete
Traiter des données sans serveur avec Cloud Dataflow
Dans ce module, vous apprendrez à créer vos pipelines de traitement de données avec Cloud Dataflow.
7 hours to complete
12 videos (Total 40 min)
12 videos
Pourquoi les clients apprécient Dataflow ?3m
Créer des pipelines Cloud Dataflow dans le code3m
Considérations à prendre en compte dans l'élaboration de pipelines2m
Transformer les données avec PTransforms3m
Atelier : Créer un pipeline Dataflow simple17s
Agréger avec GroupByKey et Combine7m
Atelier : MapReduce dans Cloud Dataflow18s
Entrées secondaires et fenêtres de données4m
Atelier : Utiliser les entrées secondaires de pipeline11s
Créer et réutiliser des modèles de pipeline3m
Pipelines Cloud Dataflow SQL3m
1 practice exercise
Traiter des données avec Cloud Dataflow30m
4 minutes to complete
Résumé
Ce module récapitule les sujets abordés dans ce cours.
4 minutes to complete
1 video (Total 4 min)
1 video
About the Data Engineer, Big Data and ML on Google Cloud en Français Specialization
Cette formation de spécialisation en ligne d'une durée de cinq semaines présente en pratique comment concevoir et développer des systèmes de traitement des données sur Google Cloud. À travers un ensemble de présentations, de démonstrations et d'ateliers pratiques, les participants apprennent à concevoir des systèmes de traitement de données, à créer des pipelines de données de bout en bout, à analyser des données et à exécuter des tâches de machine learning.
Frequently Asked Questions
Can I preview a course before enrolling?
What will I get when I enroll?
When will I receive my Course Certificate?
Why can’t I audit this course?
Is financial aid available?
Will I earn university credit for completing the Course?
More questions? Visit the Learner Help Center.
