Maîtrisez la conception, la mise en œuvre et l'optimisation de pipelines de données en streaming prêts pour la production à l'aide d'Apache Kafka et de Flink. Ce cours de niveau intermédiaire vous apprend à évaluer les configurations de journaux au regard des exigences de gouvernance (PCI-DSS, RGPD, SOC2) et des contraintes budgétaires, à concevoir des topologies de traitement de flux qui joignent et agrègent les données en temps réel avec une sémantique « exactly-once », et à optimiser les pipelines grâce au réglage des partitions, à la compression et à la modélisation des coûts. Vous réaliserez des travaux pratiques reproduisant des scénarios concrets chez DoorDash, Netflix et Robinhood : comparaison des politiques de conservation avec les règles de conformité, création d’une application Kafka Streams qui joint les commandes et les paiements pour calculer les chiffres d’affaires totaux toutes les 5 minutes, et diagnostic des goulots d’étranglement de performance afin de respecter les SLA tout en respectant le budget.

Ingénieurs de données et ingénieurs de plateforme de niveau intermédiaire qui développent ou exploitent des systèmes de streaming en temps réel et souhaitent maîtriser la gouvernance Kafka/Flink, les jointures, le fenêtrage et la mise à l’échelle optimisée en termes de coûts. Compréhension des systèmes distribués, connaissances de base d’Apache Kafka, familiarité avec SQL et les concepts de streaming, expérience en programmation Python ou Java. À l’issue de cette formation, vous serez en mesure de concevoir et d’optimiser une plateforme de streaming multi-locataires dotée de contrôles de gouvernance — des compétences directement applicables aux postes d’ingénieur de données de streaming, d’ingénieur de plateforme en temps réel et d’ingénieur d’infrastructure de données.