Ingénierie des données en nuage

Ingénierie des données en nuage

Ce cours fait partie de Spécialisation "Construire des solutions d'informatique en nuage à grande échelle"

Instructeur : Noah Gift

16 234 déjà inscrits

Inclus avec

4 modules

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.

92 avis

niveau Intermédiaire

Expérience recommandée

4 semaines à compléter

à 10 heures par semaine

Planning flexible

Apprenez à votre propre rythme

4 modules

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.

92 avis

niveau Intermédiaire

Expérience recommandée

4 semaines à compléter

à 10 heures par semaine

Planning flexible

Apprenez à votre propre rythme

Compétences que vous acquerrez

Catégorie : Développement de l'informatique en nuage
Catégorie : Solutions pour l'informatique en nuage
Catégorie : Pipelines de données
Catégorie : L'informatique en nuage
Catégorie : Outils de génie logiciel
Catégorie : Services en nuage
Catégorie : Génie logiciel
Catégorie : Extraire, transformer, charger
Catégorie : Big Data
Catégorie : Technologies de l'informatique en nuage
Catégorie : L'informatique sans serveur
Catégorie : Ingénierie des nuages
Catégorie : Développement de logiciels
Catégorie : Logiciel d'ingénierie
Catégorie : Informatique en nuage
Catégorie : Google Cloud Platform
Catégorie : Infrastructure de données
Catégorie : Informatique distribuée

Outils que vous découvrirez

Catégorie : Interface de ligne de commande
Catégorie : Stockage en nuage

Détails à connaître

Certificat partageable

Ajouter à votre profil LinkedIn

Évaluations

16 devoirs

Enseigné en Anglais

Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées

En savoir plus sur Coursera pour les affaires

logos de Petrobras, TATA, Danone, Capgemini, P&G et L'Oreal

Élaborez votre expertise du sujet

Ce cours fait partie de la Spécialisation "Construire des solutions d'informatique en nuage à grande échelle"

Lorsque vous vous inscrivez à ce cours, vous êtes également inscrit(e) à cette Spécialisation.

Apprenez de nouveaux concepts auprès d'experts du secteur
Acquérez une compréhension de base d'un sujet ou d'un outil
Développez des compétences professionnelles avec des projets pratiques
Obtenez un certificat professionnel partageable

Il y a 4 modules dans ce cours

Bienvenue dans le troisième cours de la spécialisation Construire des solutions de cloud computing à l'échelle ! Dans ce cours, vous apprendrez à appliquer l'ingénierie des données à des projets réels en utilisant les concepts de Cloud Computing introduits dans les deux premiers cours de cette série. À la fin de ce cours, vous serez en mesure de développer des applications d'ingénierie des données et d'utiliser les meilleures pratiques de développement logiciel pour créer des applications d'ingénierie des données. Celles-ci incluront le déploiement continu, les outils de qualité du code, la journalisation, l'instrumentation et la surveillance. Enfin, vous utiliserez les technologies Cloud-natives pour aborder des solutions complexes d'ingénierie des données.

Ce cours est idéal pour les débutants et les étudiants intermédiaires intéressés par l'application du Cloud computing à la science des données, à l'apprentissage automatique et à l'ingénierie des données. Les étudiants doivent avoir un niveau débutant en Linux et un niveau intermédiaire en Python. Pour votre projet dans ce cours, vous construirez un pipeline d'ingénierie de données sans serveur dans une plate-forme Cloud : Amazon Web Services (AWS), Azure ou Google Cloud Platform (GCP).

Cette semaine, vous découvrirez les méthodologies impliquées dans l'ingénierie des données. Vous apprendrez également à évaluer les meilleures pratiques pour faire face à la fin de la loi de Moore, à développer des systèmes distribués qui appliquent les meilleures pratiques de l'ingénierie logicielle et à évaluer les meilleures pratiques pour mettre en œuvre des solutions avec le Big Data. Vous appliquerez ces pratiques pour construire un projet de programmation GPU en utilisant Numba et le SDK CUDA.

Inclus

25 vidéos23 lectures5 devoirs4 sujets de discussion3 laboratoires non notés

25 vidéosTotal 144 minutes

Présentation de l'instructeur2 minutes
Introduction au cours2 minutes
L'accueil en laboratoire2 minutes
Cours 3 Aperçu du projet1 minute
Introduction à la fin de la loi de Moore2 minutes
Le problème de la simultanéité en Python2 minutes
Explorer la fin de la loi de Moore3 minutes
Utiliser CUDA et Numba6 minutes
Qu'est-ce qu'un ASIC ?2 minutes
Tirer parti de Colab Pro6 minutes
Explorer Colab IA5 minutes
Introduction aux systèmes distribués2 minutes
Journalisation et instrumentation Systèmes distribués1 minute
Théorème de la PAC3 minutes
Loi d'Amdahl3 minutes
Élasticité3 minutes
Neuf neuf très disponibles2 minutes
Débogage du code Python25 minutes
Explorer Google BigQuery13 minutes
Qu'est-ce que le Big Data ?2 minutes
Lacs de données2 minutes
Traitement des données massives (Big Data)3 minutes
Introduction aux principes de conception de l'ingénierie des données d'AWS21 minutes
Traiter les Big Data avec AWS25 minutes
Transformateur de données avec Databricks Spark SQL6 minutes

23 lecturesTotal 225 minutes

Démarrage et problèmes de cours10 minutes
Feuille de route du projet de Specializations : Cours 310 minutes
Structure du cours et étiquette des discussions10 minutes
Signaler un problème avec le cours5 minutes
Termes clés10 minutes
La fin de la loi de Moore10 minutes
Guide de l'utilisateur Numba10 minutes
Silicium sur mesure10 minutes
Réflexion sur la leçon10 minutes
Termes clés10 minutes
Débogueur Python10 minutes
Enregistrement Python10 minutes
Mise en œuvre de l'élasticité, de la haute disponibilité et de la surveillance dans le cloud AWS10 minutes
Réflexion sur la leçon10 minutes
Termes clés10 minutes
Introduction aux plateformes de données en nuage10 minutes
Qu'est-ce qu'une plate-forme lacustre ?10 minutes
Snowpark ML10 minutes
Réflexion sur la leçon10 minutes
Termes clés10 minutes
Booster Python avec les outils de ligne de commande10 minutes
Créer un code performant10 minutes
Réflexion sur la leçon10 minutes

5 devoirsTotal 150 minutes

Quiz30 minutes
Quiz - La fin de la loi de Moore30 minutes
Quiz - Construire des systèmes distribués30 minutes
Quiz-Comprendre le Big Data et les plateformes de traitement de données30 minutes
Quiz-Code haute performance30 minutes

4 sujets de discussionTotal 40 minutes

Introductions10 minutes
Implications de la fin de la loi de Moore10 minutes
Surveillance et journalisation dans les systèmes distribués10 minutes
Défis pour les plates-formes de Big Data10 minutes

3 laboratoires non notésTotal 180 minutes

Threads et processus60 minutes
Débogage avec Python PDB60 minutes
Comprendre Map Reduce60 minutes

Cette semaine, vous apprendrez ce qu'est l'ingénierie des données et comment utiliser les meilleures pratiques de l'ingénierie logicielle dans ce domaine. Vous appliquerez ensuite ces connaissances en construisant un outil de traitement de données en ligne de commande.

Inclus

16 vidéos10 lectures4 devoirs3 sujets de discussion4 laboratoires non notés

16 vidéosTotal 217 minutes

Introduction à l'ingénierie des données2 minutes
Des organisations pilotées par les données19 minutes
Qu'est-ce que l'ingénierie des données ?1 minute
Batch vs. Streaming vs. Events2 minutes
Ingestion par Lot ou par Flux21 minutes
Construire des outils CLI avec Click34 minutes
Construire des outils de ligne de commande conteneurisés13 minutes
Rust et Python5 minutes
ILC de calculatrice Python4 minutes
Chiffre de César ILC5 minutes
Tests avancés avec Amazon CodeGuru15 minutes
Tests avancés avec AWS CodeBuild30 minutes
Mappage des fonctions à l'interface de programmation : Partie 132 minutes
Mapping Functions to CLI : Part 228 minutes
AWS CodeWhisperer ILC4 minutes
AWS CodeWhisperer SDK4 minutes

10 lecturesTotal 100 minutes

Termes clés10 minutes
Générateurs Python10 minutes
Réflexion sur la leçon10 minutes
Termes clés10 minutes
Python et Rust10 minutes
Réflexion sur la leçon10 minutes
Termes clés10 minutes
AWS CodeWhisperer pour l'ingénierie des données10 minutes
Réflexion sur la leçon10 minutes
Extension de l'outil de traitement des données en ligne de commande10 minutes

4 devoirsTotal 120 minutes

Quiz30 minutes
Quiz - Qu'est-ce que l'ingénierie des données ?30 minutes
Quiz - Utilisation d'outils en ligne de commande en Rust et Python30 minutes
Quiz-Tests de code avancés et techniques de développement améliorées par l'IA30 minutes

3 sujets de discussionTotal 30 minutes

Le pouvoir des événements10 minutes
Pourquoi un CLI conteneurisé est-il si utile ?10 minutes
Utilisation d'outils avancés d'analyse de code10 minutes

4 laboratoires non notésTotal 240 minutes

Streaming de données avec les générateurs Python60 minutes
Construire un outil de ligne de commande Click60 minutes
Outil ILC Rust60 minutes
Construction d'un outil de traitement des données en ligne de commande60 minutes

Cette semaine, vous apprendrez les techniques d'ingénierie des données sans serveur et les meilleures pratiques de gouvernance des données. Vous appliquerez ensuite ces connaissances en construisant un système d'ingénierie des données sans serveur.

Inclus

23 vidéos7 lectures3 devoirs2 sujets de discussion

23 vidéosTotal 213 minutes

Introduction à l'ingénierie des données sans serveur1 minute
Automatisation des pipelines21 minutes
Qu'est-ce que le "sans serveur" ?1 minute
Concepts sans serveur : Modèle de service6 minutes
Concepts sans serveur : Fonctions4 minutes
Concepts sans serveur : Écosystème7 minutes
AWS Lambda : Vue d'ensemble1 minute
Introduction à AWS Cloud97 minutes
AWS Lambda : Gestion des événements6 minutes
AWS Lambda : Hello World12 minutes
AWS Lambda : Déployer les tests5 minutes
AWS Lambda : Exemple de Wikipédia14 minutes
Construire un pipeline de données sans serveur38 minutes
Manuel de cuisine sans serveur avec AWS33 minutes
Livre de recettes sans serveur avec GCP17 minutes
Introduction à la gouvernance des données1 minute
Qu'est-ce que la gouvernance des données ?1 minute
Le principe du moindre privilège2 minutes
Sécurité de l'informatique en nuage avec IAM sur AWS7 minutes
Modèle de sécurité partagée AWS8 minutes
Service AWS IAM12 minutes
Opérations de sécurité dans le nuage AWS5 minutes
Cryptage au repos et en transit4 minutes

7 lecturesTotal 70 minutes

Termes clés10 minutes
Les problèmes de la console Lambda10 minutes
Utiliser Amazon EFS pour AWS Lambda10 minutes
Réflexion sur la leçon10 minutes
Termes clés10 minutes
Réflexion sur la leçon10 minutes
Construction d'un déclencheur d'étiquettes de vision par ordinateur pour S310 minutes

3 devoirsTotal 90 minutes

Quiz30 minutes
Quiz - Construire un système d'ingénierie de données sans serveur30 minutes
Quiz - Une Gouvernance des données efficace30 minutes

2 sujets de discussionTotal 20 minutes

Outils sans serveur qui utilisent une CLI10 minutes
Le fondateur d'une startup veut "aller vite et casser des choses"10 minutes

Cette semaine, vous découvrirez les principales tâches d'ingénierie des données, notamment l'ETL, les bases de données dans le cloud et le stockage dans le cloud. Vous appliquerez ensuite ces connaissances en construisant une fonction lambda AWS sans serveur qui étiquette une image à l'aide de l'API AWS Rekognition.

Inclus

20 vidéos11 lectures4 devoirs3 sujets de discussion4 laboratoires non notés

20 vidéosTotal 133 minutes

Introduction à l'extraction, la transformation et le chargement (ETL)1 minute
Qu'est-ce que l'ETL ?1 minute
Ingestion et préparation des données sur AWS20 minutes
Utiliser Amazon Athena avec AWS Glue22 minutes
Problèmes concrets de l'ETL14 minutes
Introduction aux bases de données en nuage7 minutes
La taille unique ne convient pas à tous dans l'informatique dématérialisée ?1 minute
Aperçu de MySQL3 minutes
MySQL depuis le terminal3 minutes
Archiver et déposer la base de données5 minutes
Importer une base de données externe Sakila7 minutes
Modifier la base de données Sakila5 minutes
Pipelines Bash avec MySQL5 minutes
Serveur web MySQL vers Python Standard Library4 minutes
Une Requête importante avec une ingénierie Requête9 minutes
Big Requête Colab Pipeline6 minutes
Introduction au stockage en nuage1 minute
Pourquoi le stockage en nuage ?1 minute
Le stockage en nuage en profondeur13 minutes
Utiliser Amazon S35 minutes

11 lecturesTotal 110 minutes

Termes clés10 minutes
Réflexion sur la leçon10 minutes
Termes clés10 minutes
Bases de données en nuage10 minutes
Réflexion sur la leçon10 minutes
Termes clés10 minutes
Solutions de stockage en nuage10 minutes
Réflexion sur la leçon10 minutes
Créer un pipeline d'ingénierie de données sans serveur10 minutes
Prochaines étapes10 minutes
Partagez votre expérience d'apprentissage10 minutes

4 devoirsTotal 120 minutes

Quiz30 minutes
Quiz - Un ETL efficace30 minutes
Base de données Quiz-Cloud30 minutes
Quiz-Cloud Storage30 minutes

3 sujets de discussionTotal 30 minutes

Pourquoi passer quatre minutes quand on peut passer quatre jours ?10 minutes
L'énigme des bases de données relationnelles10 minutes
Reprise après sinistre et Amazon S310 minutes

4 laboratoires non notésTotal 240 minutes

MySQL pour l'ingénierie des données60 minutes
Sandbox d'ingénierie des données Rust60 minutes
Bac à sable Jupyter60 minutes
VS Code Sandbox60 minutes

Obtenez un certificat professionnel

Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.

Instructeur

Évaluations de l’enseignant

(26 évaluations)

Noah Gift

Duke University

40 Cours273 504 apprenants

Offert par

Duke University

En savoir plus sur Informatique en nuage

DeepLearning.AI
Introduction to Data Engineering
Cours
Statut : Essai gratuit
Catégorie : Crédit proposé
Google Cloud
Introduction to Data Engineering on Google Cloud
Cours
Catégorie : Crédit proposé
Duke University
Cloud Machine Learning Engineering and MLOps
Cours
Statut : Essai gratuit
Catégorie : Crédit proposé
Packt
Introduction to Data Engineering on AWS
Cours
Statut : Essai gratuit
Catégorie : Crédit proposé

Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?

Felipe M.

Étudiant(e) depuis 2018

’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’

Jennifer J.

Étudiant(e) depuis 2020

’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’

Larry W.

Étudiant(e) depuis 2021

’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’

Chaitanya A.

’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’

Avis des étudiants

5 stars
52,17 %
4 stars
25 %
3 stars
7,60 %
2 stars
9,78 %
1 star
5,43 %

Affichage de 3 sur 92

Révisé le 30 déc. 2021

Very important information and concepts was shared.

Voir plus d’avis

Ouvrez de nouvelles portes avec Coursera Plus

Accès illimité à 10,000+ cours de niveau international, projets pratiques et programmes de certification prêts à l'emploi - tous inclus dans votre abonnement.

Faites progresser votre carrière avec un diplôme en ligne

Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne

Découvrir les diplômes

Rejoignez plus de 3 400 entreprises mondiales qui ont choisi Coursera pour les affaires

Améliorez les compétences de vos employés pour exceller dans l’économie numérique

Foire Aux Questions

Pour accéder aux supports de cours, aux devoirs et pour obtenir un certificat, vous devez acheter l'expérience de certificat lorsque vous vous inscrivez à un cours. Vous pouvez essayer un essai gratuit ou demander une aide financière. Le cours peut proposer l'option "Cours complet, pas de certificat". Cette option vous permet de consulter tous les supports de cours, de soumettre les évaluations requises et d'obtenir une note finale. Cela signifie également que vous ne pourrez pas acheter un certificat d'expérience.

Lorsque vous vous inscrivez au cours, vous avez accès à tous les cours de la spécialisation et vous obtenez un certificat lorsque vous terminez le travail. Votre certificat électronique sera ajouté à votre page Réalisations - de là, vous pouvez imprimer votre certificat ou l'ajouter à votre profil LinkedIn.

Oui, pour certains programmes de formation, vous pouvez demander une aide financière ou une bourse si vous n'avez pas les moyens de payer les frais d'inscription. Si une aide financière ou une bourse est disponible pour votre programme de formation, vous trouverez un lien pour postuler sur la page de description.