In diesem Modul lernen Sie Talend Studio kennen, eine leistungsstarke Eclipse-basierte Plattform für die Datenintegration, die komplexe ETL-Vorgänge in intuitive visuelle Workflows verwandelt. Indem Sie die Drag-and-Drop Schnittstelle von Talend erkunden, lernen Sie, die Kernkomponenten der Plattform zu navigieren. Sie werden grundlegende ETL-Operationen beherrschen, indem Sie wesentliche Komponenten wie tMap für komplexe Datenumwandlungen und Joins, tJoin für einfache Datenverknüpfungen und verschiedene Input/Output-Komponenten für die Verbindung mit Datenbanken, Dateien und APIs studieren. Am Ende des Moduls werden Sie verstehen, wie Talend automatisch ausführbaren Java Code aus visuellen Designs generiert und Sie in die Lage versetzt, skalierbare, produktionsreife Datenintegrationslösungen zu erstellen, die sowohl Batch-Verarbeitung als auch Echtzeit-Datenszenarien in unterschiedlichen technologischen Umgebungen bewältigen können.

In diesem Modul gehen wir vom Data Warehousing vor Ort zum Data Engineering über. Data Engineering hat zwar seine Wurzeln im Data Warehousing, umfasst aber viel mehr. Wir werden die wichtigsten Voraussetzungen für diese Entwicklung untersuchen, insbesondere Cloud-Computing und DevOps. Sie werden die Vorteile der Cloud-Entwicklung kennenlernen, darunter verbesserte Skalierbarkeit, Kosteneffizienz und Flexibilität bei Datenoperationen. Außerdem erfahren Sie, wie herkömmliche IT-Infrastrukturkomponenten wie Sicherheit, Vernetzung und Rechenressourcen in Cloud-Umgebungen mit AWS neu definiert werden. Darüber hinaus werden Sie ein Verständnis für DevOps in der Cloud erlangen, wobei der Schwerpunkt auf der Verwendung von virtuellen Maschinen und Containern zur Optimierung der kontinuierlichen Integration und Bereitstellung liegt. Wir werden wichtige DevOps-Praktiken wie Infrastructure as Code (IaC), CI/CD-Pipelines und automatisierte Tests behandeln und deren Rolle bei der Gewährleistung von Konsistenz, schnelleren Entwicklungszyklen und sicheren Anwendungen hervorheben. Anschließend werden Sie erfahren, was Data Engineering beinhaltet und welche Fähigkeiten ein Data Engineer benötigt. Schließlich werden wir das Konzept des Datenlebenszyklus und seine verschiedenen Phasen vorstellen, wobei wir uns auf die ersten beiden konzentrieren: Datenerzeugung und -speicherung.

In diesem Modul werden wir die nächsten beiden Phasen des Datenlebenszyklus untersuchen: Ingestion und Transformation. Die Datenaufnahme bezieht sich auf den Prozess des Verschiebens von Daten aus Quellsystemen in den Speicher, um sie für die Verarbeitung und Analyse verfügbar zu machen. Im Laufe der Lektüre werden Sie die wichtigsten Ingestionsmuster untersuchen, darunter Batch- und Streaming-Ingestion, synchrone und asynchrone Methoden sowie Push-, Pull- und Hybrid-Ansätze. Sie werden auch wichtige technische Überlegungen wie Skalierbarkeit, Reliabilität und Datenqualitätsmanagement sowie die Herausforderungen von Schemaänderungen untersuchen. Im Rahmen der Lektüre werden verschiedene Technologien vorgestellt, die die Datenaufnahme ermöglichen, z. B. JDBC/ODBC, Change Data Capture (CDC), APIs und Event-Streaming-Plattformen wie Kafka. Anschließend verlagern wir den Schwerpunkt auf die Transformationsphase des Lebenszyklus und erforschen verschiedene Arten von Transformationen, die komplexe Geschäftslogik in Datenpipelines integrieren. Am Ende des Moduls werden wir uns auf die Datenarchitektur und die Implementierung guter Architekturprinzipien konzentrieren, um skalierbare und zuverlässige Datenpipelines aufzubauen.

In diesem Modul werden wir uns mit den Dateneigenschaften und deren Einfluss auf Infrastrukturentscheidungen befassen. In der heutigen datengesteuerten Welt ist das Verständnis der Eigenschaften Ihrer Daten entscheidend für die Entwicklung robuster Datenpipelines. Wir befassen uns mit Schlüsselmerkmalen wie dem Volumen, das sich auf die Größe der Datensätze bezieht, und der Geschwindigkeit, die bestimmt, wie häufig neue Daten generiert werden. Wir werden auch einen Blick auf die Vielfalt werfen, die sich auf Datenformate und -quellen konzentriert, sowie auf die Wahrhaftigkeit, die sich auf die Genauigkeit und Vertrauenswürdigkeit der Daten bezieht. Das ultimative Ziel ist es, durch aufschlussreiche Analysen den Wert der Daten zu ermitteln. Während wir uns mit dem Pipeline-Design beschäftigen, erfahren Sie, wie diese Merkmale wichtige Entscheidungen beeinflussen, z. B. die Wahl der Speicher-, Verarbeitungs- und Analytik-Tools. Wir werden auch wesentliche AWS-Services wie Amazon S3, Glue und Athena behandeln und untersuchen, wie sie skalierbares und flexibles Data Engineering unterstützen. Am Ende dieses Moduls werden Sie ein umfassendes Verständnis dafür haben, wie man effektive Datenlösungen erstellt, um sowohl technische als auch geschäftliche Anforderungen zu erfüllen.

Willkommen in der letzten Phase des Datenlebenszyklus: der Bereitstellung von Daten. In diesem Modul konzentrieren wir uns auf die effektive Bereitstellung von Daten für Analytik, Maschinelles Lernen (ML) und Reverse ETL, um sicherzustellen, dass die von Ihnen entworfenen Datenprodukte zuverlässig und umsetzbar sind und das Vertrauen der Stakeholder genießen. Zu den wichtigsten Themen gehören die Festlegung von SLAs, die Identifizierung von Anwendungsfällen, die Entwicklung von Datenprodukten mit Feedback, die Standardisierung von Datendefinitionen und die Untersuchung von Bereitstellungsmethoden wie Dateiaustausch, Datenbanken und Streaming-Systeme. Wir werden auch den Einsatz von Reverse ETL zur Verbesserung von Geschäftsprozessen behandeln und die Bedeutung des Kontexts für die Auswahl der besten Visualisierungsart und -tools diskutieren. Anschließend befassen wir uns mit KPIs und Metriken und deren Klassifizierung, einschließlich der Identifizierung robuster KPIs auf der Grundlage des Geschäftskontexts. Schließlich werden wir uns auf die Erstellung intuitiver Dashboards konzentrieren, indem wir die richtigen Analysen, Visualisierungen und Metriken auswählen, die je nach Geschäftskontext und Zielgruppe präsentiert werden. Am Ende dieses Moduls werden Sie wissen, wie Sie Datenlösungen entwerfen und bereitstellen können, die sinnvolle Maßnahmen vorantreiben und von den Endbenutzern als vertrauenswürdig angesehen werden.