Formations en Informatique de Lille
Portail pédagogique
accueil FIL L1 Licence Info Master Info Master Miage Master DS Master MISO Alternance Form. enseignants
Cloud Computing E-Services Génie Logiciel Internet des Objets Machine Learning Réalité Virtuelle et Augmentée
ACA ACT AP APR ASE ASG Anglais BDA BDR BG EDN FD FTBD HECI IIR ISI ML MLNLP OA PDI PJE RD SD SMA UE au choix
Vous êtes ici : FIL > Portail > Master Info > Machine Learning > BG
Big Data (UE: BG)
Informations Générales
Responsable Olivier Nicol
Semestre S3
Enseignement Obligatoire -- Présentiel
UEs pré-requises
Modalités d’évaluation CC+CT
Structure ECTS
Élément de cours Big Data
Unité d’enseignement BG 3
Bloc de compétence Bases de données
Répartition horaire CM CTD TD TP à distance total
Heures encadrées 12 12 24
Heures Projet
Travail Personnel 24
Stage

dernière modification : 28/06/2022 à 10:05:48

Objectifs

  • Comprendre les problématiques d’un système distribué dans le cadre de traîtement de données, c’est-à-dire du partage sur plusieurs noeuds d’un ensemble de données sur lequel est effectué une suite d’opérations
  • Parcourir les principales solutions:, notamment Hadoop, HDFS et Spark
  • Appliquer les connaissances sur un challenge de data science

Programme succinct

  • Introduction au systèmes distribués
  • Distribution des données via HDFS dans un cluster de calcul
  • Abstractions offertes par Spark pour manipuler les données
  • Utilisation de spark dans un contexte EDA, ETL puis ML

Compétences

  • Utilisation de pyspark (spark avec Python)
  • Application sur un challenge de type Kaggle: compréhension, prise en main, mise en place des pipelines et évaluation


dernière modification : 28/06/2022 à 10:05:48