Johns Hopkins University
Architecture MapReduce YARN et programmation avancée
Johns Hopkins University

Architecture MapReduce YARN et programmation avancée

Karthik Shyamsunder

Instructeur : Karthik Shyamsunder

Inclus avec Coursera Plus

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.
niveau Intermédiaire

Expérience recommandée

2 semaines à compléter
à 10 heures par semaine
Planning flexible
Apprenez à votre propre rythme
Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.
niveau Intermédiaire

Expérience recommandée

2 semaines à compléter
à 10 heures par semaine
Planning flexible
Apprenez à votre propre rythme

Ce que vous apprendrez

  • Apprenez les principes fondamentaux des architectures YARN et MapReduce, notamment la façon dont elles fonctionnent ensemble pour traiter efficacement les données à grande échelle.

  • Comprendre et mettre en œuvre le parallélisme Mapper et Reducer dans les jobs MapReduce pour améliorer l'efficacité et l'évolutivité du traitement des données.

  • Appliquer des techniques d'optimisation telles que les combinateurs, les partitionneurs et la compression pour améliorer les performances et les opérations d'E/S des travaux MapReduce.

  • Explorez des concepts avancés tels que le multithreading, l'exécution spéculative, les formats d'entrée/sortie et la manière d'éviter les anti-modèles MapReduce les plus courants.

Compétences que vous acquerrez

  • Catégorie : Configuration du système
  • Catégorie : Big Data
  • Catégorie : Apache Hadoop
  • Catégorie : Java
  • Catégorie : Architecture logicielle
  • Catégorie : Optimisation des performances
  • Catégorie : Traitement des données
  • Catégorie : Évolutivité
  • Catégorie : Informatique distribuée

Détails à connaître

Certificat partageable

Ajouter à votre profil LinkedIn

Évaluations

12 devoirs

Enseigné en Anglais

Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées

 logos de Petrobras, TATA, Danone, Capgemini, P&G et L'Oreal

Élaborez votre expertise du sujet

Ce cours fait partie de la Spécialisation Traitement des Big data en cours d'utilisation Hadoop
Lorsque vous vous inscrivez à ce cours, vous êtes également inscrit(e) à cette Spécialisation.
  • Apprenez de nouveaux concepts auprès d'experts du secteur
  • Acquérez une compréhension de base d'un sujet ou d'un outil
  • Développez des compétences professionnelles avec des projets pratiques
  • Obtenez un certificat professionnel partageable

Il y a 5 modules dans ce cours

Ce cours fournit une introduction complète aux architectures YARN et MapReduce, couvrant leurs composants fondamentaux et leurs capacités. Vous explorerez le modèle de programmation MapReduce, en vous concentrant sur les techniques d'optimisation telles que les combinateurs, les partitionneurs et la compression. Des concepts clés tels que le parallélisme du Mapper et du Reducer seront démontrés, ainsi que des étapes pratiques pour l'écriture et la configuration des tâches MapReduce. Le cours aborde également des sujets avancés tels que le multithreading, l'exécution spéculative et les formats d'entrée/sortie. À la fin du cours, vous aurez acquis une compréhension approfondie de MapReduce et serez équipé pour appliquer les meilleures pratiques dans des scénarios réels.

Inclus

2 lectures

Dans ce module, nous allons couvrir l'architecture YARN et les capacités architecturales suivies par l'architecture MapReduce construite sur YARN

Inclus

6 vidéos4 lectures3 devoirs

Ce module fournit une vue d'ensemble de l'API MapReduce, en vous guidant à travers les étapes d'écriture d'un programme MapReduce. Il couvre les concepts de parallélisme Mapper et Reducer, en illustrant leur mise en œuvre et leur impact sur l'efficacité du traitement des données.

Inclus

6 vidéos5 lectures3 devoirs

Ce module se concentre sur les techniques d'optimisation MapReduce avancées, notamment l'utilisation de combinateurs pour améliorer les performances, de partitionneurs pour gérer la distribution des données entre les réducteurs, et de méthodes de compression pour optimiser les E/S. Il couvre également l'application de compteurs pour collecter et analyser les statistiques sur les travaux MapReduce.

Inclus

6 vidéos5 lectures3 devoirs

Ce module explore les concepts avancés de MapReduce, notamment le multithreading, les aspects internes des formats d'entrée/sortie et l'exécution spéculative. Il couvre également l'exécution locale des tâches et identifie les anti-modèles MapReduce courants à éviter.

Inclus

7 vidéos5 lectures3 devoirs

Obtenez un certificat professionnel

Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.

Instructeur

Karthik Shyamsunder
Johns Hopkins University
4 Cours1 133 apprenants

Offert par

En savoir plus sur Gestion des données

Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?

Felipe M.
Étudiant(e) depuis 2018
’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’
Jennifer J.
Étudiant(e) depuis 2020
’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’
Larry W.
Étudiant(e) depuis 2021
’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’
Chaitanya A.
’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’
Coursera Plus

Ouvrez de nouvelles portes avec Coursera Plus

Accès illimité à 10,000+ cours de niveau international, projets pratiques et programmes de certification prêts à l'emploi - tous inclus dans votre abonnement.

Faites progresser votre carrière avec un diplôme en ligne

Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne

Rejoignez plus de 3 400 entreprises mondiales qui ont choisi Coursera pour les affaires

Améliorez les compétences de vos employés pour exceller dans l’économie numérique

Foire Aux Questions