Vous évaluerez les indicateurs de qualité des données et documenterez la traçabilité de la transformation des données afin de garantir la transparence et la fiabilité.

Vous mettrez en œuvre des techniques permettant d'imputer, de signaler et de valider les valeurs manquantes ou nulles afin de produire des ensembles de données cohérents et prêts à être utilisés dans des modèles.

Vous mettrez en œuvre des pipelines ETL et ELT afin d'intégrer des données provenant de diverses sources dans un entrepôt de caractéristiques à l'aide de workflows de transformation structurés.

Vous analyserez les modifications apportées aux schémas en amont et mettrez en place des mesures de protection afin de garantir la résilience du pipeline de données et la compatibilité en aval.

Vous évaluerez la fraîcheur des données, les retards et les taux de réussite des pipelines par rapport aux accords de niveau de service afin d'évaluer la fiabilité opérationnelle.

Vous mettrez en œuvre des stratégies de gestion des branches dans le cadre du contrôle de version afin de gérer efficacement le code, les expériences et les artefacts du projet.

Vous utiliserez des outils d'environnement virtuel pour configurer des environnements de projet reproductibles avec des dépendances stables.

Vous analyserez l'utilisation des ressources (CPU, GPU et mémoire) afin d'optimiser les coûts de calcul lors des phases d'expérimentation.

Dans le cadre de ce projet, vous devrez concevoir et mettre en œuvre un pipeline de données d’apprentissage automatique de type production pour un scénario de modélisation des risques dans le secteur des services financiers. L’ensemble de données brutes contient des valeurs manquantes, des entrées catégorielles incohérentes, des valeurs aberrantes potentielles et une dérive de schéma simulée. Votre mission consiste à transformer cet ensemble de données en un magasin de caractéristiques validé et prêt à être utilisé par un modèle. Vous devrez nettoyer et prétraiter des données tabulaires structurées, sélectionner des stratégies d’encodage en fonction de la cardinalité des caractéristiques, mettre en œuvre la validation des données à l’aide de Great Expectations, détecter les changements de schéma entre les exécutions du pipeline, générer des métriques SLA pour évaluer la fiabilité, et enregistrer les caractéristiques traitées au format Parquet. Au-delà du pipeline CORE, vous appliquerez également des pratiques de développement professionnelles couramment utilisées au sein des équipes de ML en production : mise en place d’un environnement virtuel pour garantir la reproductibilité, utilisation de stratégies de branchement de contrôle de version pour gérer votre travail, et analyse de l’utilisation des ressources pour comprendre les coûts de calcul. Votre livrable final consistera en un script Python modulaire et une explication technique écrite structurée démontrant votre capacité à concevoir une infrastructure de données d’apprentissage automatique fiable et adaptée à la production.