Das zweite Modul "Big Data & Hadoop" befasst sich mit den Eigenschaften und der Funktionsweise von Hadoop, dem ursprünglichen Big-Data-System, das von Google verwendet wurde. Die Vorlesungen erklären die Funktionsweise von MapReduce, HDFS (Hadoop Distributed FileSystem) und die Verarbeitung von Datenblöcken. Diese Funktionen werden auf einem Cluster von Knoten ausgeführt, denen die Rolle von NameNode oder DataNode zugewiesen ist, wobei die Datenverarbeitung von den in den Vorlesungen erläuterten JobTrackern und TaskTrackern durchgeführt wird. Darüber hinaus werden die Merkmale der Metadatentypen und die Unterschiede in den Datenanalyseprozessen von Hadoop und SQL (Structured Query Language) erläutert. Dann wird die Hadoop Release Series vorgestellt, zu der auch die Beschreibungen von Hadoop YARN (Yet Another Resource Negotiator), HDFS Federation und HDFS HA (High Availability) Big Data Technologie gehören.

Das dritte Modul "Spark" konzentriert sich auf die Operationen und Eigenschaften von Spark, der derzeit beliebtesten Big-Data-Technologie der Welt. Der Vortrag behandelt zunächst die Unterschiede in den Datenanalyseeigenschaften von Spark und Hadoop und geht dann auf die Funktionen der Spark Big Data-Verarbeitung ein, die auf den Kerneinheiten RDD (Resilient Distributed Datasets), Spark Core, Spark SQL, Spark Streaming, MLlib (Machine Learning Library) und GraphX basieren. Es werden Details zu den Funktionen von Spark DAG (Directed Acyclic Graph) Stufen und Pipeline-Prozessen erläutert, die auf der Grundlage von Spark-Transformationen und -Aktionen gebildet werden. Insbesondere werden die Definition und die Vorteile von Lazy-Transformationen und DAG-Operationen beschrieben sowie die Merkmale von Spark-Variablen und Serialisierung. Darüber hinaus wird der Prozess der Spark-Cluster-Operationen auf der Grundlage von Mesos, Standalone und YARN vorgestellt.

Das vierte Modul "Spark ML & Streaming" befasst sich mit der Funktionsweise von Spark ML (Machine Learning) und der Durchführung von Spark Streaming-Operationen. Zu den Spark ML-Algorithmen gehören Featurisierung, Pipelines, Persistenz und Dienstprogramme, die mit RDDs (Resilient Distributed Datasets) arbeiten, um Informationen aus riesigen Datensätzen zu extrahieren. In den Vorlesungen werden die Merkmale der DataFrame-basierten API erläutert, die die primäre ML-API im spark.ml-Paket ist. Zunächst werden die grundlegenden statistischen Algorithmen von Spark ML vorgestellt, die auf Korrelation und Hypothesentests (P-Wert) basieren, gefolgt von den Klassifizierungs- und Regressionsalgorithmen von Spark ML, die auf linearen Modellen, Naive Bayes und Entscheidungsbaumtechniken basieren. Dann werden die Merkmale von Spark Streaming, Streaming-Eingabe und -Ausgabe sowie die Streaming-Empfängertypen (einschließlich Basis, benutzerdefiniert und erweitert) erläutert, gefolgt von der Frage, wie der Spark Streaming-Prozess und DStream (Discretized Stream) Big Data Streaming-Operationen für Echtzeit- und echtzeitnahe Anwendungen ermöglichen.

Das fünfte Modul "Storm" konzentriert sich auf die Eigenschaften und den Betrieb von Storm Big Data-Systemen. Der Vortrag behandelt zunächst die Unterschiede in den Datenanalyseeigenschaften von Storm, Spark und der Hadoop-Technologie. Dann werden die Merkmale der Storm Big Data-Verarbeitung auf der Grundlage von Nimbus, Spouts und Bolts beschrieben, gefolgt von den Details zu Storm Streams, Supervisor und ZooKeeper. Weitere Einzelheiten zu den zuverlässigen und unzuverlässigen Spouts und Bolts von Storm werden erläutert, gefolgt von den Vorteilen des DAG (Directed Acyclic Graph) von Storm und der Verwaltung von Datenstrom-Warteschlangen. Darüber hinaus werden die Vorteile der Verwendung von Storm-basierten schnellen Echtzeitanwendungen vorgestellt, zu denen Echtzeitanalysen, Online-ML (Machine Learning), kontinuierliche Berechnungen, DRPC (Distributed Remote Procedure Call) und ETL (Extract, Transform, Load) gehören.

Das sechste und letzte Modul "IBM SPSS Statistics Project" konzentriert sich auf die Vermittlung von Erfahrungen mit einem der bekanntesten und am weitesten verbreiteten statistischen Big Data-Analysesysteme der Welt. Die Vorlesung beginnt mit der Einrichtung und Verwendung von IBM SPSS Statistics und beschreibt dann, wie IBM SPSS Statistics verwendet werden kann, um Erfahrungen mit der Datenanalyse in Unternehmen zu sammeln. Anschließend werden die statistischen Datenverarbeitungsergebnisse zweier Projekte, die auf der Verwendung des IBM SPSS Statistics Big Data-Systems basieren, durchgeführt. Die Projekte werden durchgeführt, damit die Teilnehmer neue Möglichkeiten zur Verwendung, Analyse und Erstellung von Diagrammen über die Beziehungen zwischen Datensätzen entdecken und die statistischen Ergebnisse mit IBM SPSS Statistics vergleichen können.