Como criar pipelines de dados de streaming no Google Cloud

This course is part of Data Engineer, Big Data and ML on Google Cloud em Português Specialization

Instructor: Google Cloud Training

Access provided by Syrian Youth Assembly

4 modules

Gain insight into a topic and learn the fundamentals.

Intermediate level

Some related experience required

7 hours to complete

Flexible schedule

Learn at your own pace

4 modules

Gain insight into a topic and learn the fundamentals.

Intermediate level

Some related experience required

7 hours to complete

Flexible schedule

Learn at your own pace

What you'll learn

Interpretar os casos de uso da análise de streaming em tempo real.
Gerenciar eventos de dados usando o serviço de mensagens assíncrono do Pub/Sub.
Criar pipelines de streaming e executar transformações quando necessário.
Interoperar o Dataflow, o BigQuery e o Pub/Sub para fazer streaming e análises em tempo real.

Skills you'll gain

Details to know

Shareable certificate

Add to your LinkedIn profile

Assessments

4 assignments

Taught in Portuguese (Brazil)

See how employees at top companies are mastering in-demand skills

Learn more about Coursera for Business

logos of Petrobras, TATA, Danone, Capgemini, P&G and L'Oreal

Build your subject-matter expertise

This course is part of the Data Engineer, Big Data and ML on Google Cloud em Português Specialization

When you enroll in this course, you'll also be enrolled in this Specialization.

Learn new concepts from industry experts
Gain a foundational understanding of a subject or tool
Develop job-relevant skills with hands-on projects
Earn a shareable career certificate

There are 4 modules in this course

O processamento de dados de streaming é cada vez mais usado pelas empresas para gerar métricas sobre as operações comerciais em tempo real. Neste curso, você vai aprender a criar pipelines de dados de streaming no Google Cloud. O Pub/Sub é apresentado como a ferramenta para gerenciar dados de streaming de entrada. No curso, também abordamos a aplicação de agregações e transformações a dados de streaming usando o Dataflow, além de formas de armazenar registros processados no BigQuery ou no Cloud Bigtable para análise. Os participantes vão ganhar experiência prática na criação de componentes de pipelines de dados de streaming no Google Cloud usando o Qwiklabs.

Este módulo apresenta os fundamentos da criação de pipelines de dados de streaming no Google Cloud, fornecendo uma base para todo o curso. Ele começa descrevendo os objetivos gerais de aprendizado e apresentando um cenário prático que será usado em todo o conteúdo e nos laboratórios para tornar os conceitos tangíveis.

What's included

1 plugin

Este módulo apresenta os casos de uso e arquiteturas de dados de streaming. Você vai aprender sobre os aplicativos e padrões arquitetônicos comuns para o processamento de dados em tempo real em quatro cenários principais: ETL de streaming, IA/ML de streaming, aplicativo de streaming e ETL reverso.

What's included

1 plugin

Este módulo oferece uma visão geral abrangente da criação de pipelines de dados de streaming no Google Cloud, tratando dos principais serviços de mensagens, processamento e análise. Ele foi criado para que você entenda na prática como os componentes funcionam juntos em uma arquitetura coesa e em tempo real.

What's included

4 assignments4 app items5 plugins

4 assignments Total 26 minutes

Teste 1: Pub/Sub e Serviço gerenciado para Apache Kafka 6 minutes
Teste 2: Dataflow 6 minutes
Teste 3: BigQuery 8 minutes
Teste 4: Bigtable 6 minutes

4 app items Total 300 minutes

Laboratório 2: usar o Apache Beam e o Bigtable para enriquecer dados de conteúdo baixado de e-sports 90 minutes
Laboratório 3: transmita dados de e-sports com o Pub/Sub e o BigQuery 60 minutes
Laboratório: monitorar o chat de e-sports com o Streamlit 90 minutes
Laboratório 1: streaming de dados com pipelines e caso de uso de e-sports 60 minutes

5 plugins Total 75 minutes

Entender os produtos 15 minutes
Considerações arquitetônicas para o Pub/Sub e o Serviço gerenciado para Apache Kafka 15 minutes
Dataflow: o centro de processamento 15 minutes
BigQuery: o mecanismo de análise 15 minutes
Bigtable: a solução para dados operacionais 15 minutes

Este módulo oferece uma conclusão abrangente do curso, tratando dos principais conceitos aprendidos para criar pipelines de dados de streaming resilientes e robustos no Google Cloud.