Como criar pipelines de dados em lote no Google Cloud

This course is part of Data Engineer, Big Data and ML on Google Cloud em Português Specialization

Instructor: Google Cloud Training

What you'll learn

Determinar se os pipelines de dados em lote são a escolha correta para seu caso de uso comercial.
Projetar e criar pipelines de dados em lote escalonáveis para ingestões e transformações de alto volume.
Implementar controles de qualidade nos pipelines em lote para garantir a integridade dos dados.
Orquestrar, gerenciar e monitorar fluxos de trabalho de pipeline de dados em lote, implementando o tratamento de erros e a observabilidade.

Skills you'll gain

Tools you'll learn

Apache Spark

Details to know

Shareable certificate

Add to your LinkedIn profile

Assessments

5 assignments

Taught in Portuguese (Brazil)

See how employees at top companies are mastering in-demand skills

Learn more about Coursera for Business

logos of Petrobras, TATA, Danone, Capgemini, P&G and L'Oreal

Build your subject-matter expertise

This course is part of the Data Engineer, Big Data and ML on Google Cloud em Português Specialization

When you enroll in this course, you'll also be enrolled in this Specialization.

Learn new concepts from industry experts
Gain a foundational understanding of a subject or tool
Develop job-relevant skills with hands-on projects
Earn a shareable career certificate

There are 4 modules in this course

"Neste curso intermediário, você aprenderá a projetar, criar e otimizar pipelines de dados em lote robustos no Google Cloud. Além do tratamento básico de dados, você vai aprender sobre transformações em grande escala e orquestração eficiente de fluxos de trabalho, essenciais para a eficiência em Business Intelligence e relatórios importantes.

Você vai conhecer o papel fundamental de um engenheiro de dados no desenvolvimento e na manutenção de pipelines de dados em lote, entender os principais componentes e o ciclo de vida desses mecanismos e analisar os desafios mais comuns no processamento de dados em lote. Também vai identificar os principais serviços do Google Cloud que ajudam a resolver essas dificuldades.

What's included

1 assignment2 plugins

Você vai projetar pipelines de dados em lote escalonáveis para a ingestão e transformação de dados em grande volume. Também vai otimizar jobs em lote para ter economia e alta capacidade de processamento usando várias técnicas de gerenciamento de recursos e ajuste de desempenho.

What's included

1 assignment2 app items6 plugins

1 assignmentTotal 8 minutes

Teste do módulo 2: Design e transformações8 minutes

2 app itemsTotal 105 minutes

Laboratório: Criar um pipeline de dados em lote simples com o Serverless para Apache Spark45 minutes
Laboratório: Criar um pipeline de dados em lote simples com a interface do job builder do Dataflow60 minutes

6 pluginsTotal 90 minutes

Projetar pipelines em lote15 minutes
Transformações de dados em grande escala15 minutes
Dataflow e Serverless para Apache Spark15 minutes
Orquestração e conexões de dados15 minutes
Executar um pipeline do Apache Spark15 minutes
Otimizar a performance do pipeline em lote15 minutes

Você vai desenvolver regras de validação de dados e lógica de limpeza para garantir a qualidade deles nos pipelines em lote. Também vai implementar estratégias para gerenciar a evolução do esquema e eliminar duplicações em grandes conjuntos de dados.

What's included

1 assignment1 app item6 plugins

1 assignmentTotal 8 minutes

Teste do Módulo 3: Validação de dados e evolução do esquema8 minutes

1 app itemTotal 90 minutes

Laboratório: Validar a qualidade dos dados em um pipeline em lote com o Serverless para Apache Spark90 minutes

6 pluginsTotal 90 minutes

Validação e limpeza de dados em lote15 minutes
Registrar e analisar erros15 minutes
Evolução do esquema nos pipelines em lote15 minutes
Integridade e duplicação de dados15 minutes
Eliminação de duplicação com o Serverless para Apache Spark15 minutes
Eliminação de duplicação com o Dataflow15 minutes

Você vai orquestrar fluxos de trabalho complexos de pipeline de dados em lote para agendamento eficiente e rastreamento de linhagem. Também vai implementar tratamento de erros, monitoramento e observabilidade robustos nos pipelines de dados em lote.