Dataflow 과정 시리즈의 두 번째 편에서는 Beam SDK를 사용하여 파이프라인을 개발하는 방법을 자세히 살펴보겠습니다. 먼저 Apache Beam 개념에 대한 복습부터 시작하겠습니다. 다음으로 윈도우, 워터마크, 트리거를 사용하여 스트리밍 데이터를 처리하는 방법을 알아봅니다. 그런 다음 파이프라인의 소스 및 싱크 옵션, 정형 데이터를 표현하는 스키마, State 및 Timer API를 사용하여 스테이트풀(Stateful) 변환을 수행하는 방법을 다룹니다. 이제 파이프라인 성능을 극대화하는 데 도움이 되는 권장사항을 살펴보겠습니다. 과정의 마지막 부분에서는 Beam에서 비즈니스 로직을 표현하기 위한 SQL과 DataFrame을 소개하고 Beam 노트북을 사용하여 파이프라인을 반복적으로 개발하는 방법을 알아봅니다.
Dataflow를 사용한 서버리스 데이터 처리: 파이프라인 개발
Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.
niveau Avancées
Conçu pour les professionnels de ce secteur
2 semaines à compléter
à 10 heures par semaine
Planning flexible
Apprenez à votre propre rythme
Ce que vous apprendrez
Google Cloud의 데이터 엔지니어링 과정에서 다룬 주요 Apache Beam 개념 복습
DE에서 다룬 핵심 스트리밍 개념(unbounded PCollection, 윈도우, 워터마크, 트리거) 복습
Dataflow 파이프라인에 사용할 I/O 선택 및 조정
스키마를 사용하여 Beam 코드를 간소화하고 파이프라인 성능 개선
Détails à connaître
Certificat partageable
Ajouter à votre profil LinkedIn
Récemment mis à jour !
mai 2026
Évaluations
8 devoirs
Enseigné en Coréen
91% of learners achieved a positive career outcome
Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées
Il y a 10 modules dans ce cours
Instructeur
Offert par
En savoir plus sur Cloud Computing
Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?
Felipe M.
Étudiant(e) depuis 2018
’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’
Jennifer J.
Étudiant(e) depuis 2020
’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’
Larry W.
Étudiant(e) depuis 2021
’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’
Chaitanya A.
’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’
Foire Aux Questions
Plus de questions
Aide financière disponible,