Maîtrisez la conception et la mise en œuvre de pipelines de données en streaming cohérents à l'aide d'Apache Kafka, de Spark et de Flink. Dans cette formation pratique, vous appliquerez des cadres décisionnels systématiques pour sélectionner les garanties de livraison appropriées (« at-most-once », « at-least-once », « exactly-once ») en fonction des exigences métier et de l'analyse des scénarios de défaillance. Vous mettrez en œuvre un traitement « exactement-une » de bout en bout en configurant les transactions des producteurs Kafka, les points de contrôle Spark Structured Streaming et les tables transactionnelles Hudi, puis vous validerez votre implémentation par des tests d’intégration avec injection de défaillances. Enfin, vous évaluerez des stratégies de « watermarking » en analysant les modèles d’arrivée des événements afin d’optimiser le compromis entre latence et exhaustivité et de répondre à des exigences SLA spécifiques. À travers des scénarios réalistes — allant de la prévention des facturations en double dans le traitement des commandes à l’optimisation des pipelines d’événements IoT pour une latence P95 inférieure à 10 secondes —, vous développerez les compétences nécessaires pour concevoir des systèmes de streaming en production alliant exactitude, performances et simplicité opérationnelle.

Ingénieurs de données et de plateformes de niveau intermédiaire utilisant Kafka, Spark ou Flink qui souhaitent concevoir des pipelines de streaming en production offrant des garanties de livraison correctes, une sémantique « exactly-once » et un traitement à faible latence. Connaissances fondamentales des systèmes distribués ; expérience de base avec Apache Kafka ou des systèmes de messagerie similaires ; maîtrise de SQL ; et expérience élémentaire des concepts de traitement des données en flux continu ou par lots. À l’issue de cette formation, vous serez en mesure de concevoir et de valider des pipelines de streaming prêts pour la production, offrant des garanties de livraison correctes, une sémantique « exactly-once » et un traitement en temps réel à faible latence.