Big-Data Technologies

Bases de données avancées.

Le big data fait référence à des ensemble de données trop volumineux et complexes pour les applications traditionnelles de traitement et de management des datas. Ce terme est devenu populaire grâce à l’essor de la technologie mobile, de l’IoT (Internet of things ou Internet des objets en français) et de l’IA :

1. Se familiariser avec les outils de Bigdata pour la gestion des données massives.

2. Conception et du développement de solutions Big Data, à l’aide des techniques et les technologies les plus récentes ( Hadoop,Spark,Kafka, Presto, Mapreduce,…).

3. Traitement à large échelle et distribution des calculs.

1. Introduction au Big data (1h)

a. Caractéristiques des environnements Big Data

b. Modèle de programmation parallèle MapReduce

c. Ecosystème Hadoop : HDFS, YARN, etc

2. Ecosystème Spark(3h)

            a. Introduction à Spark

            b. RDD: Resilient Distributed Dataset

            c. Transformation & Action

            d. Spark SQL

           e. Spark Avancé: Cluster Configuration, Tuning, Job Scheduling,etc

 3. Spark for Data Science (4h)

         a. Spark MLib:  Machine Learning distribué

         b. Deep Learning Pipelines: Deep Learning distribué

         c. Spark GraphX: Graph Analysis

 4. Data Streaming platform(3h)

             a. Introduction au Data Streaming & Stream Processing

             b. Apache Kafka

             c. Apache Avro: data serialization system

             d. KSQL

             e. Spark Streaming: Streaming DataFrames

 5. Apache Airflow: Orchestration des workflows big data (2h)

 6. Architecture Data Lakes (2h)

Consultez les ressources disponibles concernant ce module sur le moteur de recherche de la bibliothèque, ou accédez directement au cours de vos enseignants via la plateforme de téléenseignement de l’école « e-learn ».