Ce cours est conçu pour les ingénieurs de données, les ingénieurs analytiques, les ingénieurs de plateforme de données et les architectes de données qui travaillent avec des lacs de données et souhaitent moderniser leur infrastructure de données. Il est également utile pour les ingénieurs logiciels en transition vers des rôles de données et les responsables techniques qui évaluent Apache Iceberg pour leurs données.

A la fin de ce cours, vous serez capable de : - Construire et configurer une maison de lac Apache Iceberg en utilisant des catalogues, le stockage d'objets et des moteurs de requête comme Spark et Trino - Concevoir des structures de table optimales en utilisant le partitionnement caché, les ordres de tri et les métriques de colonne pour maximiser les performances des requêtes - Migrer les données existantes à partir de tables Hive, de fichiers Parquet, de CSV et de bases de données dans Iceberg en utilisant des approches d'instantané, de migration et de resérialisation - Mettre en œuvre des flux de production en utilisant Write-Audit-Publish pour la validation, la ramification pour les tests, configurer les stratégies d'écriture (fusion à la lecture ou copie à l'écriture) et les modes de distribution pour les différentes exigences de la charge de travail - Gérer les opérations concurrentes et éviter les conflits dans les scénarios multi-écrivains Pour réussir ce cours, vous devez avoir : - Une connaissance pratique de SQL et des concepts de bases de données relationnelles (tables, schémas, requêtes) - Une compréhension de base des concepts d'ingénierie des données, y compris ETL/ELT, entrepôts de données et lacs de données - Une familiarité avec les interfaces en ligne de commande et Docker pour exécuter l'environnement du cours - Une aisance à lire et à comprendre des exemples de code en Python/PySpark (le code est fourni ; une expérience avec Apache Spark ou l'informatique distribuée est utile mais pas nécessaire - les concepts de base sont expliqués tout au long du cours. Apache CORE, Apache et le logo de la plume Apache sont soit des marques déposées, soit des marques commerciales de The Apache Software Foundation. L'utilisation de ces marques n'implique aucune approbation de la part de l'Apache Software Foundation.