Le cours "Architecture YARN MapReduce et programmation avancée" fournit une compréhension approfondie des architectures YARN et MapReduce, en se concentrant sur leurs composants et leurs capacités. Les étudiants exploreront le modèle de programmation MapReduce et apprendront des techniques d'optimisation essentielles telles que les combinateurs, les partitionneurs et la compression pour améliorer les performances des tâches. Le cours couvre le parallélisme du Mapper et du Reducer dans MapReduce, ainsi que les étapes pratiques pour écrire et configurer les tâches MapReduce. Des sujets avancés tels que le multithreading, l'exécution spéculative et les formats d'entrée/sortie sont également explorés.


Architecture MapReduce YARN et programmation avancée
Ce cours fait partie de Spécialisation Traitement des Big data en cours d'utilisation Hadoop

Instructeur : Karthik Shyamsunder
Inclus avec
Expérience recommandée
Ce que vous apprendrez
Apprenez les principes fondamentaux des architectures YARN et MapReduce, notamment la façon dont elles fonctionnent ensemble pour traiter efficacement les données à grande échelle.
Comprendre et mettre en œuvre le parallélisme Mapper et Reducer dans les jobs MapReduce pour améliorer l'efficacité et l'évolutivité du traitement des données.
Appliquer des techniques d'optimisation telles que les combinateurs, les partitionneurs et la compression pour améliorer les performances et les opérations d'E/S des travaux MapReduce.
Explorez des concepts avancés tels que le multithreading, l'exécution spéculative, les formats d'entrée/sortie et la manière d'éviter les anti-modèles MapReduce les plus courants.
Compétences que vous acquerrez
- Catégorie : Configuration du système
- Catégorie : Apache Hadoop
- Catégorie : Évolutivité
- Catégorie : Optimisation des performances
- Catégorie : Informatique distribuée
- Catégorie : Architecture logicielle
- Catégorie : Big Data
- Catégorie : Traitement des données
- Catégorie : Java
Détails à connaître

Ajouter à votre profil LinkedIn
12 devoirs
Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées

Élaborez votre expertise du sujet
- Apprenez de nouveaux concepts auprès d'experts du secteur
- Acquérez une compréhension de base d'un sujet ou d'un outil
- Développez des compétences professionnelles avec des projets pratiques
- Obtenez un certificat professionnel partageable

Il y a 5 modules dans ce cours
Ce cours fournit une introduction complète aux architectures YARN et MapReduce, couvrant leurs composants fondamentaux et leurs capacités. Vous explorerez le modèle de programmation MapReduce, en vous concentrant sur les techniques d'optimisation telles que les combinateurs, les partitionneurs et la compression. Des concepts clés tels que le parallélisme du Mapper et du Reducer seront démontrés, ainsi que des étapes pratiques pour l'écriture et la configuration des tâches MapReduce. Le cours aborde également des sujets avancés tels que le multithreading, l'exécution spéculative et les formats d'entrée/sortie. À la fin du cours, vous aurez acquis une compréhension approfondie de MapReduce et serez équipé pour appliquer les meilleures pratiques dans des scénarios réels.
Inclus
2 lectures
Dans ce module, nous allons couvrir l'architecture YARN et les capacités architecturales suivies par l'architecture MapReduce construite sur YARN
Inclus
6 vidéos4 lectures3 devoirs
Ce module fournit une vue d'ensemble de l'API MapReduce, en vous guidant à travers les étapes d'écriture d'un programme MapReduce. Il couvre les concepts de parallélisme Mapper et Reducer, en illustrant leur mise en œuvre et leur impact sur l'efficacité du traitement des données.
Inclus
6 vidéos5 lectures3 devoirs
Ce module se concentre sur les techniques d'optimisation MapReduce avancées, notamment l'utilisation de combinateurs pour améliorer les performances, de partitionneurs pour gérer la distribution des données entre les réducteurs, et de méthodes de compression pour optimiser les E/S. Il couvre également l'application de compteurs pour collecter et analyser les statistiques sur les travaux MapReduce.
Inclus
6 vidéos5 lectures3 devoirs
Ce module explore les concepts avancés de MapReduce, notamment le multithreading, les aspects internes des formats d'entrée/sortie et l'exécution spéculative. Il couvre également l'exécution locale des tâches et identifie les anti-modèles MapReduce courants à éviter.
Inclus
7 vidéos5 lectures3 devoirs
Obtenez un certificat professionnel
Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.
Instructeur

Offert par
En savoir plus sur Gestion des données
Statut : Essai gratuitJohns Hopkins University
Statut : Essai gratuit
Statut : Essai gratuit
University of California San Diego
Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?





Ouvrez de nouvelles portes avec Coursera Plus
Accès illimité à 10,000+ cours de niveau international, projets pratiques et programmes de certification prêts à l'emploi - tous inclus dans votre abonnement.
Faites progresser votre carrière avec un diplôme en ligne
Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne
Rejoignez plus de 3 400 entreprises mondiales qui ont choisi Coursera pour les affaires
Améliorez les compétences de vos employés pour exceller dans l’économie numérique
Foire Aux Questions
Pour accéder aux supports de cours, aux devoirs et pour obtenir un certificat, vous devez acheter l'expérience de certificat lorsque vous vous inscrivez à un cours. Vous pouvez essayer un essai gratuit ou demander une aide financière. Le cours peut proposer l'option "Cours complet, pas de certificat". Cette option vous permet de consulter tous les supports de cours, de soumettre les évaluations requises et d'obtenir une note finale. Cela signifie également que vous ne pourrez pas acheter un certificat d'expérience.
Lorsque vous vous inscrivez au cours, vous avez accès à tous les cours de la spécialisation et vous obtenez un certificat lorsque vous terminez le travail. Votre certificat électronique sera ajouté à votre page Réalisations - de là, vous pouvez imprimer votre certificat ou l'ajouter à votre profil LinkedIn.
Oui, pour certains programmes de formation, vous pouvez demander une aide financière ou une bourse si vous n'avez pas les moyens de payer les frais d'inscription. Si une aide financière ou une bourse est disponible pour votre programme de formation, vous trouverez un lien de demande sur la page de description.
Plus de questions
Aide financière disponible,

