Ce projet vous demande de concevoir une architecture de stockage de données prête pour la production en gérant les données à travers plusieurs couches de spécialisation. Vous commencerez par travailler avec une base de données MySQL OLTP (Online Transaction Processing)pour gérer les données transactionnelles du commerce électronique. Ensuite, vous concevrez et mettrez en œuvre une solution d'entrepôt de données structuré, en migrant les enregistrements transactionnels bruts dans un entrepôt de transit PostgreSQL dédié avant de les transformer en schémas prêts pour la production.

Vous acquerrez une expérience pratique de la construction de pipelines ETL légers et fiables en utilisant des outils de systèmes de base plutôt que des logiciels d'entreprise lourds. Vous écrirez des scripts shell Linux fonctionnels pour extraire les enregistrements de transactions incrémentales quotidiennes de MySQL et les charger dans votre environnement de mise en scène. Pour s'assurer que le pipeline fonctionne sans intervention manuelle, vous apprendrez à configurer et à planifier ces scripts automatisés à l'aide de Cron Jobs, une compétence vitale pour gérer les flux de travail d'ingénierie de données de routine.

L'entreposage de données repose sur des structures analytiques optimisées. Dans ce projet, vous effectuerez des transformations de données sur des tables de préparation afin de remplir des tables de dimensions standard et des tables de faits(formant un modèle de schéma en étoile) optimisées pour une interrogation rapide. Une fois vos données structurées, vous exporterez les tables dans l'entrepôt de production et les connecterez à IBM Cognos Analytics pour concevoir un tableau de bord de reporting exécutif qui reflète les mesures critiques de l'activité de commerce électronique.