Dans ce cours intermédiaire, vous apprendrez à concevoir, construire et optimiser des pipelines de données par lots robustes sur Google Cloud. Allant au-delà du traitement fondamental des données, vous explorerez les transformations de données à grande échelle et l'orchestration efficace des flux de travail, essentielle pour la veille stratégique en temps opportun et le reporting critique. Obtenez une pratique pratique en utilisant Dataflow pour Apache Beam et Serverless pour Apache Spark (Dataproc Serverless) pour la mise en œuvre, et abordez des considérations cruciales pour la qualité des données, la surveillance et l'alerte pour assurer la fiabilité des pipelines et l'excellence opérationnelle. Une connaissance de base de l'Entrepôt de données, ETL/ELT, SQL, Python, et des concepts de Google Cloud est recommandée.
Créer des pipelines de données par lots sur Google Cloud
Créer des pipelines de données par lots sur Google Cloud
Ce cours fait partie de plusieurs programmes.
Instructeur : Google Cloud Training
50 944 déjà inscrits
Inclus avec En savoir plus
Demander à Coursera
1,714 avis
Ce que vous apprendrez
Déterminez si les pipelines de données en mode batch sont le bon choix pour le cas d'utilisation de votre entreprise.
Concevoir et construire des pipelines de données batch évolutifs pour l'ingestion et la transformation de gros volumes.
Mettre en place des contrôles de qualité des données au sein des pipelines de traitement par lots afin de garantir l'intégrité des données.
Orchestrer, gérer et surveiller les flux de travail des pipelines de données par lots, en mettant en œuvre la gestion des erreurs et l'observabilité à l'aide d'outils de journalisation et de surveillance.
Compétences que vous acquerrez
- Catégorie : Nettoyage des données
- Catégorie : Qualité des données
- Catégorie : Optimisation des performances
- Catégorie : Évolutivité
- Catégorie : Entreposage de données
- Catégorie : L'informatique sans serveur
- Catégorie : Surveillance du système
- Catégorie : Validation des données
- Catégorie : Contrôle continu
Détails à connaître
Ajouter à votre profil LinkedIn
5 devoirs
Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées
Élaborez votre expertise du sujet
- Apprenez de nouveaux concepts auprès d'experts du secteur
- Acquérez une compréhension de base d'un sujet ou d'un outil
- Développez des compétences professionnelles avec des projets pratiques
- Obtenez un certificat professionnel partageable
Il y a 4 modules dans ce cours
Obtenez un certificat professionnel
Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.
Instructeur
Offert par
Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?
Felipe M.
Jennifer J.
Larry W.
Chaitanya A.
Avis des étudiants
- 5 stars
65,92 %
- 4 stars
25,72 %
- 3 stars
6 %
- 2 stars
1,45 %
- 1 star
0,87 %
Affichage de 3 sur 1714
Révisé le 19 mai 2020
Informative on various features. But cloud fusion and dataflow are not very clearly explained in detail.. expecting more on this. Want to learn more on the pipeline topic please.
Révisé le 18 juin 2020
Excellent course with appropriate explanation on cloud data fusion, data composer, data proc and cloud data-flow. Must learn course for all aspiring Big Data Engineers.
Révisé le 9 juil. 2020
This course really teaches me in-depth about data engineering than the cloud or any other products offered by GCP which is the most important part.
Faites progresser votre carrière avec un diplôme en ligne
Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne
Foire Aux Questions
Plus de questions
Aide financière disponible,