YARN MapReduce Architecture and Advanced Programming

kurs ist nicht verfügbar in Deutsch (Deutschland)

Wir übersetzen es in weitere Sprachen. Sehen Sie sich die Sprachen an, die wir anbieten.

YARN MapReduce Architecture and Advanced Programming

Dieser Kurs ist Teil von Spezialisierung „Big Data Processing Using Hadoop“

Dozent: Karthik Shyamsunder

Bei Mehr erfahren enthalten

Fragen Sie Coursera

5 Module

Verschaffen Sie sich einen Einblick in ein Thema und lernen Sie die Grundlagen.

Stufe Mittel

Empfohlene Erfahrung

2 Wochen zu vervollständigen

unter 10 Stunden pro Woche

Flexibler Zeitplan

In Ihrem eigenen Lerntempo lernen

5 Module

Verschaffen Sie sich einen Einblick in ein Thema und lernen Sie die Grundlagen.

Stufe Mittel

Empfohlene Erfahrung

2 Wochen zu vervollständigen

unter 10 Stunden pro Woche

Flexibler Zeitplan

In Ihrem eigenen Lerntempo lernen

Was Sie lernen werden

Learn the fundamentals of YARN and MapReduce architectures, including how they work together to process large-scale data efficiently.
Understand and implement Mapper and Reducer parallelism in MapReduce jobs to improve data processing efficiency and scalability.
Apply optimization techniques such as combiners, partitioners, and compression to enhance the performance and I/O operations of MapReduce jobs.
Explore advanced concepts like multithreading, speculative execution, input/output formats, and how to avoid common MapReduce anti-patterns.

Kompetenzen, die Sie erwerben

Kategorie: Software Architecture
Kategorie: Performance Tuning
Kategorie: Big Data
Kategorie: Scalability
Kategorie: Software Design Patterns
Kategorie: Data Processing
Kategorie: Distributed Computing
Kategorie: System Configuration
Kategorie: Program Development
Kategorie: File I/O

Werkzeuge, die Sie lernen werden

Kategorie: Apache Hadoop

Wichtige Details

Zertifikat zur Vorlage

Zu Ihrem LinkedIn-Profil hinzufügen

Bewertungen

12 Aufgaben

Unterrichtet in Englisch

Erfahren Sie, wie Mitarbeiter führender Unternehmen gefragte Kompetenzen erwerben.

Weitere Informationen zu Coursera für Unternehmen

Logos von Petrobras, TATA, Danone, Capgemini, P&G und L'Oreal

Erweitern Sie Ihre Fachkenntnisse

Dieser Kurs ist Teil der Spezialisierung Spezialisierung „Big Data Processing Using Hadoop“

Wenn Sie sich für diesen Kurs anmelden, werden Sie auch für diese Spezialisierung angemeldet.

Lernen Sie neue Konzepte von Branchenexperten
Gewinnen Sie ein Grundverständnis bestimmter Themen oder Tools
Erwerben Sie berufsrelevante Kompetenzen durch praktische Projekte
Erwerben Sie ein Berufszertifikat zur Vorlage

In diesem Kurs gibt es 5 Module

The course "YARN MapReduce Architecture and Advanced Programming" provides an in-depth understanding of YARN and MapReduce architectures, focusing on their components and capabilities. Students will explore the MapReduce programming model and learn essential optimization techniques such as combiners, partitioners, and compression to improve job performance. The course covers Mapper and Reducer parallelism in MapReduce, along with practical steps for writing and configuring MapReduce jobs. Advanced topics such as multithreading, speculative execution, and input/output formats are also explored.

By the end of the course, participants will have hands-on experience in optimizing and writing efficient MapReduce jobs, preparing them to apply best practices in real-world scenarios. This course is unique as it not only covers the foundational aspects of YARN and MapReduce but also delves into optimization strategies, offering learners the tools to enhance data processing efficiency. Whether you're new to MapReduce or looking to deepen your knowledge, this course provides valuable insights for mastering large-scale data processing.

This course provides a comprehensive introduction to YARN and MapReduce architectures, covering their fundamental components and capabilities. You will explore the MapReduce programming model, focusing on optimization techniques such as combiners, partitioners, and compression. Key concepts like Mapper and Reducer parallelism will be demonstrated, alongside practical steps for writing and configuring MapReduce jobs. The course also delves into advanced topics such as multithreading, speculative execution, and input/output formats. By the end, You will gain a deep understanding of MapReduce and be equipped to apply best practices in real-world scenarios.

Das ist alles enthalten

2 Lektüren

In this module, we will cover the architecture YARN architecture and architectural capabilities followed by MapReduce architecture built on YARN

Das ist alles enthalten

6 Videos4 Lektüren3 Aufgaben

6 VideosInsgesamt 105 Minuten

Introduction - YARN and MapReduce Architecture2 Minuten
YARN Architecture36 Minuten
YARN Architectural Capabilities14 Minuten
MapReduce Framework on YARN27 Minuten
MapReduce Programming Paradigm24 Minuten
Summary - YARN and MapReduce Architecture2 Minuten

4 LektürenInsgesamt 70 Minuten

YARN Architecture and its Capabilities10 Minuten
MapReduce Framework on YARN10 Minuten
MapReduce Programming Paradigm10 Minuten
Self-Reflective Reading: Unlocking Big Compute with YARN40 Minuten

3 AufgabenInsgesamt 90 Minuten

YARN and MapReduce Architecture60 Minuten
Introduction - YARN and MapReduce Architecture15 Minuten
YARN and MapReduce: Framework, Programming Paradigm, and Summary15 Minuten

This module provides a comprehensive overview of the MapReduce API, guiding you through the steps to write a MapReduce program. It covers the concepts of Mapper and Reducer parallelism, illustrating their implementation and impact on data processing efficiency.

Das ist alles enthalten

6 Videos5 Lektüren3 Aufgaben

6 VideosInsgesamt 124 Minuten

Introduction - MapReduce Programming Basics2 Minuten
MapReduce Programming API31 Minuten
Steps to Write a MapReduce Program36 Minuten
Mapper Parallelism25 Minuten
Reducer Parallelism 28 Minuten
Summary - MapReduce Programming Basics2 Minuten

5 LektürenInsgesamt 80 Minuten

MapReduce Programming API10 Minuten
Steps to Write a MapReduce Program10 Minuten
Mapper Parallelism10 Minuten
Reducer Parallelism 10 Minuten
Self-Reflective Reading: Mapping Data Processing in Your Industry40 Minuten

3 AufgabenInsgesamt 90 Minuten

MapReduce Programming Basics60 Minuten
Introduction to MapReduce: Programming Basics, API, and Development Steps15 Minuten
MapReduce Programming Basics: Mapper and Reducer Parallelism Overview15 Minuten

This module focuses on advanced MapReduce optimization techniques, including the use of combiners to enhance performance, partitioners to manage data distribution across reducers, and compression methods to optimize I/O. It also covers the application of counters to collect and analyze statistics about MapReduce jobs.

Das ist alles enthalten

6 Videos5 Lektüren3 Aufgaben

6 VideosInsgesamt 87 Minuten

Introduction - MapReduce Programming Intermediate2 Minuten
Combiners29 Minuten
Partitioners17 Minuten
Compression18 Minuten
Counters18 Minuten
Summary - MapReduce Programming Intermediate3 Minuten

5 LektürenInsgesamt 75 Minuten

Combiners10 Minuten
Partitioners5 Minuten
Compression10 Minuten
Counters10 Minuten
Self-Reflective Reading: Balancing Storage and Processing in Data Management40 Minuten

3 AufgabenInsgesamt 90 Minuten

MapReduce Programming Intermediate60 Minuten
Intermediate MapReduce Programming: Combiners and Partitioners15 Minuten
Intermediate MapReduce Programming: Compression, Counters, and Summary15 Minuten

This module explores advanced MapReduce concepts including multithreading, the internals of input/output formats, and speculative execution. It also covers running jobs locally and identifies common MapReduce anti-patterns to avoid.

Das ist alles enthalten

7 Videos5 Lektüren3 Aufgaben

7 VideosInsgesamt 71 Minuten

Introduction - MapReduce Advanced1 Minute
Multithreading16 Minuten
Input-Output Format Internals21 Minuten
Speculative Execution7 Minuten
Running Jobs Locally8 Minuten
MapReduce Anti-Patterns15 Minuten
Summary - MapReduce Advanced2 Minuten

5 LektürenInsgesamt 60 Minuten

Multithreading5 Minuten
Input-Output Format Internals5 Minuten
Running Jobs Locally5 Minuten
MapReduce Anti-Patterns5 Minuten
Self-Reflective Reading: Best Practices for Effective MapReduce Development and Testing40 Minuten

3 AufgabenInsgesamt 90 Minuten

MapReduce Programming Advanced60 Minuten
Advanced MapReduce: Multithreading, I/O Formats, and Speculative Execution15 Minuten
Advanced MapReduce: Local Job Execution, Anti-Patterns, and Summary15 Minuten

Erwerben Sie ein Karrierezertifikat.

Fügen Sie dieses Zeugnis Ihrem LinkedIn-Profil, Lebenslauf oder CV hinzu. Teilen Sie sie in Social Media und in Ihrer Leistungsbeurteilung.

Dozent

Karthik Shyamsunder

Johns Hopkins University

4 Kurse1.506 Lernende

von

Johns Hopkins University

Mehr von Data Management entdecken

Status: Kostenloser Testzeitraum
Johns Hopkins University
HDFS Architecture and Programming
Kurs
Status: Kostenloser Testzeitraum
Pearson
Hadoop and Spark Fundamentals: Unit 2
Kurs
Status: Kostenloser Testzeitraum
EDUCBA
MapReduce with Hadoop: Analyze, Design & Deploy
Kurs
Status: Kostenloser Testzeitraum
École Polytechnique Fédérale de Lausanne
Big Data Analysis with Scala and Spark
Kurs

Warum entscheiden sich Menschen für Coursera für ihre Karriere?

Felipe M.

Lernender seit 2018

„Es ist eine großartige Erfahrung, in meinem eigenen Tempo zu lernen. Ich kann lernen, wenn ich Zeit und Nerven dazu habe.“

Jennifer J.

Lernender seit 2020

„Bei einem spannenden neuen Projekt konnte ich die neuen Kenntnisse und Kompetenzen aus den Kursen direkt bei der Arbeit anwenden.“

Larry W.

Lernender seit 2021

„Wenn mir Kurse zu Themen fehlen, die meine Universität nicht anbietet, ist Coursera mit die beste Alternative.“

Chaitanya A.

„Man lernt nicht nur, um bei der Arbeit besser zu werden. Es geht noch um viel mehr. Bei Coursera kann ich ohne Grenzen lernen.“

Schalten Sie den Zugang zu mehr als 10.000 Kursen mit einem Abonnement frei
Bringen Sie Ihre Karriere mit einem Online-Abschluss voran.
Erwerben Sie einen Abschluss von erstklassigen Universitäten – 100 % online
Schließen Sie sich den über 4.700 globalen Unternehmen an, die Coursera for Business wählen

Häufig gestellte Fragen

To access course materials, assignments, and earn a Certificate, you'll need to purchase the Certificate experience when you enroll in a course. Eligible learners may also have the option to start with a Free Trial. Some courses may also offer a Full Course, No Certificate option. This lets you access course materials, submit required assessments, and receive a final grade, but you won't be able to earn or purchase a Certificate.

When you enroll in the course, you get access to all of the courses in the Specialization, and you earn a certificate when you complete the work. Your electronic Certificate will be added to your Accomplishments page - from there, you can print your Certificate or add it to your LinkedIn profile.

Yes. In select learning programs, you can apply for financial aid or a scholarship if you can’t afford the enrollment fee. If fin aid or scholarship is available for your learning program selection, you’ll find a link to apply on the description page.