Dans les environnements d’ingénierie des données à grande échelle, les problèmes de performances tels que la lenteur des transformations, le nombre excessif d’opérations de shuffle et le déséquilibre des charges de travail peuvent avoir un impact sur l’analyse, le reporting et le respect des engagements SLA. Cette formation vous apprend à analyser, diagnostiquer et optimiser les applications Spark afin qu’elles s’exécutent plus rapidement, plus efficacement et de manière plus fiable. Au cours de cette formation, vous commencerez par acquérir les bases de l’exécution des tâches Spark, notamment en découvrant comment les étapes, les tâches, les opérations de shuffle et les plans d’exécution permettent d’identifier les goulots d’étranglement. Vous explorerez les outils de surveillance intégrés à Spark pour interpréter le comportement des tâches. À partir de là, vous appliquerez des techniques d’optimisation pratiques, notamment l’amélioration du partitionnement des données, l’atténuation de l’asymétrie des données, l’optimisation des jointures, la configuration de stratégies de mise en cache et le choix de formats de fichiers efficaces. Vous apprendrez également à régler les exécuteurs, la mémoire, les COREs et l’allocation dynamique afin d’équilibrer les coûts et les performances entre les charges de travail.

Les apprenants doivent posséder des connaissances de base en Python et en DataFrames Spark, ainsi qu’une bonne maîtrise de JSON et de SQL. Ce cours s’adresse aux ingénieurs de données et aux développeurs qui doivent diagnostiquer et optimiser des tâches Spark s’exécutant sur des pipelines de données distribués à grande échelle. À l’issue de cette formation, vous disposerez des compétences nécessaires pour appliquer en toute confiance des stratégies de réglage avancées, améliorer le débit, réduire la surcharge liée au shuffle et optimiser l’utilisation des ressources.