In diesem Projekt müssen Sie eine produktionsreife Datenspeicherarchitektur entwickeln, indem Sie Daten über mehrere spezialisierte Schichten hinweg verwalten. Sie arbeiten zunächst mit einer MySQL OLTP (Online Transaction Processing)-Datenbank, um transaktionale E-Commerce-Daten zu verarbeiten. Anschließend entwerfen und implementieren Sie eine strukturierte Data-Warehouse-Lösung und migrieren die Transaktionsrohdaten in ein spezielles PostgreSQL-Staging-Warehouse , bevor Sie sie in produktionsreife Schemata umwandeln.

Sie sammeln praktische Erfahrungen bei der Erstellung schlanker, zuverlässiger ETL-Pipelines unter Verwendung von Kernsystemwerkzeugen anstelle von schwerer Unternehmenssoftware. Sie werden funktionale Linux-Shell-Skripte schreiben, um täglich inkrementelle Transaktionsdatensätze aus MySQL zu extrahieren und in Ihre Staging-Umgebung zu laden. Um sicherzustellen, dass die Pipeline ohne manuelle Eingriffe funktioniert, lernen Sie, diese automatisierten Skripte mithilfe von Cron-Jobs zu konfigurieren und zu planen - eine wichtige Fähigkeit für die Verwaltung routinemäßiger Data-Engineering-Workflows.

Data Warehousing beruht auf optimierten analytischen Strukturen. In diesem Capstone führen Sie Datentransformationen an Staging-Tabellen durch, um Standard-Dimensionstabellen und Faktentabellen(die ein Sternschema-Modell bilden) zu füllen, die für schnelle Abfragen optimiert sind. Sobald Ihre Daten strukturiert sind, exportieren Sie die Tabellen in das Production Warehouse und verbinden sie mit IBM Cognos Analytics , um ein Dashboard für die Geschäftsleitung zu entwerfen, das wichtige E-Commerce-Geschäftskennzahlen widerspiegelt.