Cette évaluation est un quiz noté basé sur le module couvert par cette semaine.

Dans ce module, vous découvrirez le langage de script Hive et son utilisation pour l'extraction de données à partir de clusters Hadoop. Hive fournit un dialecte SQL appelé Langage de requête Hive (abrégé HiveQL ou simplement HQL) pour interroger les données stockées dans un cluster Hadoop. Hive est plus adapté aux applications d'entrepôt de données, lorsque des données relativement statiques sont analysées, que des temps de réponse rapides ne sont pas nécessaires et que les données ne changent pas rapidement. Hive permet aux développeurs de porter plus facilement les applications basées sur SQL vers Hadoop, par rapport à d'autres langages et outils Hadoop. Comme tous les dialectes SQL d'usage courant, il n'est pas entièrement conforme à une révision particulière de la norme ANSI SQL. Il est peut-être le plus proche du dialecte de MySQL, mais avec des différences significatives. Hive prend en charge plusieurs tailles de types entiers et à virgule flottante, un type booléen et des chaînes de caractères de longueur arbitraire. Enfin, en prenant un Ensemble de données du monde réel, vous le chargerez dans l'environnement Ambari pour l'analyser à l'aide de HDFS et HQL. Vous suivrez le processus de création de tables, de chargement de données et d'analyse à l'aide d'un Langage de requête Hive.

Cette évaluation est un quiz gradué basé sur les modules couverts cette semaine

Dans ce module, vous découvrirez le langage de requête Pig Latin et la manière dont vous pouvez l'exploiter pour interroger les Big data sur les clusters Hadoop. Vous découvrirez également les différents types de données et commandes disponibles dans le langage Pig Latin et comment ils peuvent être utilisés pour définir et manipuler des données dans l'écosystème Hadoop. En outre, vous serez à travailler sur un exemple pratique d'un ensemble de données publiquement disponibles pour exécuter des scripts Pig Latin pour l'analyse des données.

Dans ce module, vous serez initié à la nécessité des bases de données NoSQL. Vous ferez également connaissance avec HBase, une base de données NoSQL, et son rôle dans l'écosystème Hadoop. Vous découvrirez le théorème CAP et la manière dont il affecte les compromis entre le choix des différentes options de bases de données NoSQL disponibles sur Hadoop. Vous découvrirez également en détail la cohérence, la disponibilité et la tolérance aux partitions de la Manipulation des données et la manière dont elles affectent notre choix de technologie pour accéder aux données et les manipuler sur Hadoop. Enfin, vous aurez un aperçu d'autres solutions NoSQL émergentes basées sur le cloud.

Cette évaluation est un quiz gradué basé sur les modules couverts cette semaine.

Dans ce module, vous serez initié à la populaire plateforme Apache Spark pour le traitement des Big data. Vous explorerez les composants clés d'Apache Spark qui offrent des avantages significatifs en matière de calcul distribué. Vous serez également initié aux datastores distribués résilients (RDD) et aux DataFrames Spark. En outre, vous serez initié à Spark SQL et Spark Streaming.

Cette évaluation est un quiz noté basé sur le module couvert par cette semaine.

Dans ce module, vous apprendrez à connaître MLlib, qui est utilisé pour faire des prédictions sur de grands ensembles de données qui nécessitent un traitement distribué. Vous travaillerez sur des tâches de régression et de classification pour de grands ensembles de données. Ensuite, un exercice pratique avec des données en streaming à partir de l'API twitter est mis en œuvre. Il s'agit d'une application de streaming prédictif pour montrer aux participants un scénario big data de bout en bout.

Vidéo de synthèse du cours