Ingénierie de la fouille et de la visualisation de données massives (RCP216)

Contenu du cours :

• Préambule
  • Ouverture
  • Positionnement de RCP216 dans les parcours
  • Conditions d’accès
  • Organisation de l’enseignement
  • Evaluation
  • Travail nécessaire pour valider l’UE
  • Liens indispensables
  • Ressources
  • Liens externes
• Cours - Introduction
  • Pourquoi les données massives ?
    • Les défis : volume, variété, vélocité
    • Quelques domaines d’application
  • Sujet du cours
  • Approches pour passer à l’échelle
    • Approches sans distribution
    • Approches distribuées
  • Contenu et objectifs de l’enseignement
  • Références bibliographiques
• Travaux pratiques - Introduction à Python
  • Bases du langage Python
    • Types de base et collections
    • Structures de contrôle
    • Fonctions
  • Entrées et sorties
    • Fichiers texte
    • Fichiers CSV avec NumPy
  • Calculs avec NumPy
    • Création de tableaux
    • Indexation et slicing
    • Opérations vectorisées et broadcasting
    • Calculs matriciels
    • Chargement et manipulation des données mammals
  • Visualisation avec Matplotlib
    • Courbes (plot)
    • Nuages de points (scatter plot)
    • Histogrammes
    • Visualisation 3D
  • Exercice de synthèse
• Cours - Approches sans distribution
  • Réduction du volume de données
    • Calculs sur un échantillon
    • Réduction de dimension
  • Calcul efficace sans distribution
    • Limites de Pandas à grande échelle
    • Polars
    • Dask
  • Synthèse : Pandas, Polars, Dask
• Travaux pratiques - Pandas, Polars et visualisation avec Plotly
  • Manipulation de données avec Pandas
    • Chargement et exploration
    • Filtrage et sélection
    • Agrégation avec groupby
    • Jointure
    • Colonnes calculées et transformations
  • Passage à Polars
    • Chargement et exploration
    • Filtrage et sélection
    • Agrégation avec group_by
    • Jointure et colonnes calculées
    • Mode lazy et optimiseur de requêtes
    • Comparaison de performances Pandas vs Polars
  • Visualisation interactive avec Plotly Express
    • Distributions : histogrammes et boîtes à moustaches
    • Nuages de points interactifs
    • Graphiques d’évolution temporelle
    • Visualisation à grande échelle : la limite du rendu côté client
  • Exercice de synthèse
• Cours - Approches distribuees
  • Principes du calcul distribué
    • Architecture d’un cluster
    • Tolérance aux pannes
  • MapReduce
    • Principe
    • Exemple 1 : comptage de mots (Word Count)
    • Exemple 2 : multiplication matrice × vecteur
    • Hiérarchie de stockage et coût des accès disque
    • Limites de MapReduce pour les algorithmes itératifs
  • Apache Spark
    • Solution aux limites de MapReduce : données en mémoire et lineage
    • Structures de données : RDD, Dataset, DataFrame
    • Déploiement
    • Bibliothèques de l’écosystème Spark
  • Ray
    • Motivations : au-delà du traitement batch
    • Architecture
    • Bibliothèques de l’écosystème Ray
    • Positionnement par rapport à Spark
  • Tableau comparatif complet
• Travaux pratiques - Introduction à PySpark et aux DataFrames Spark
  • Premiers pas : texte et évaluation paresseuse
    • Préparation des données
    • DataFrame de texte : actions et transformations
    • Évaluation paresseuse et optimisation
    • Persistance : cache() et persist()
  • DataFrames numériques : lecture, écriture, manipulation
    • Lecture de fichiers CSV
    • Lecture de fichiers CSV avec MovieLens
    • Écriture de DataFrames
  • Sélection, filtrage et colonnes calculées
    • Sélection de colonnes
    • Filtrage
    • Colonnes calculées avec withColumn
  • Agrégation et groupBy
    • Agrégations de base
    • Agrégation par groupe
  • Jointures
  • Spark SQL
  • Échantillonnage dans Spark
    • Échantillonnage simple
    • Échantillonnage stratifié
  • Exercice de synthèse : analyse MovieLens complète
• Cours - Recherche par similarité : LSH et bases vectorielles
  • Recherche par similarité
    • Réduction de la complexité de la recherche par similarité
  • Hachage sensible à la similarité (LSH)
    • LSH vs hachage classique
    • Familles de fonctions LSH
    • Composition ou amplification de fonctions LSH
    • Malédiction de la dimension
  • Bases de données vectorielles
    • Motivations et contexte
    • Structures d’index ANN
    • Architecture d’une base de données vectorielles
    • Compromis précision / vitesse / mémoire
• Travaux pratiques - Détection de quasi-copies avec MinHash LSH
  • Mise en place
    • Partie 1 — Similarité de Jaccard et signatures MinHash
  • Représentation par ensembles de k-grammes
  • Calcul exact de la similarité de Jaccard
  • Signatures MinHash
    • Partie 2 — Index LSH et recherche de documents similaires
  • Construction de l’index
  • Recherche par similarité
  • Interprétation des catégories
    • Partie 3 — Impact des paramètres \(n\) et \(t\)
  • Constitution d’un ensemble de référence
  • Mesure de précision et rappel pour différentes configurations
    • Partie 4 — Gain de complexité : auto-jointure exhaustive vs LSH
• Cours - Apprentissage supervisé à large échelle
  • Apprentissage supervisé et généralisation
    • Détermination du modèle
    • Estimation des performances de généralisation
  • Problématique de l’échelle en apprentissage supervisé
  • Machines à vecteurs de support
    • SVM : problème d’optimisation pour une séparation linéaire
    • SVM et apprentissage à large échelle
    • SVM linéaires et descente de gradient stochastique
  • Évaluation pour problèmes avec une classe d’intérêt
  • Hyperparamètres et sélection de modèle
    • Grid search pour le choix des hyperparamètres
  • Apprentissage supervisé avec Spark
• Travaux pratiques - Comparaison de classifieurs dans Spark ML
  • Mise en place
  • Lecture et préparation des données
  • Standardisation des variables
    • Partie 1 — SVM linéaire
    • Partie 2 — Régression logistique
    • Partie 3 — Forêt aléatoire
    • Partie 4 — Réseau de neurones (MLP)
    • Partie 5 — Comparaison et analyse
  • Tableau récapitulatif
  • Analyse par classe
  • Importance des variables (forêt aléatoire)
• Cours - Fouille de données textuelles (1/2)
  • Objectifs et applications
  • Pipeline de traitement NLP
    • Collecte et pré-traitement
    • Extraction d’entités primaires (tokenisation)
    • Étiquetage morpho-syntaxique (POS tagging)
    • Extraction d’entités nommées
    • Lemmatisation et racinisation
  • Représentations vectorielles classiques
    • Modèle vectoriel et pondérations TF-IDF
    • Analyse sémantique latente (LSA)
    • Analyse sémantique explicite (ESA)
  • Plongements lexicaux
    • Word2Vec
    • GloVe
    • FastText
    • Limites des plongements statiques
  • Représentations de phrases et de documents
    • Agrégation de vecteurs de mots
  • Environnements logiciels
• Travaux pratiques - Fouille de textes 1 : SparkNLP et GloVe
  • Mise en place
    • Partie 1 — Pipeline NLP de base
    • Partie 2 — Classification thématique avec GloVe
• Cours - Fouille de données textuelles (2/2) : Transformers et modèles de langage
  • Limites des approches précédentes
  • L’architecture Transformer
    • Le mécanisme d’attention
    • Attention avec têtes multiples (multi-head attention)
    • Encodage positionnel (positional encoding)
    • Bloc transformer et architecture complète
  • Modèles de langage pré-entraînés
    • Tokenisation par sous-mots
    • BERT
    • Famille GPT et modèles génératifs
  • Adaptation aux tâches : fine-tuning et instruction tuning
    • Fine-tuning supervisé (SFT)
    • Apprentissage par renforcement avec retour humain (RLHF)
  • Embeddings de phrases et RAG
    • Embeddings de phrases contextuels
    • Retrieval-Augmented Generation (RAG)
  • Limites et enjeux éthiques
• Travaux pratiques - Fouille de textes 2 : GloVe vs BERT avec SparkNLP
  • Mise en place
  • Chargement et exploration des données
    • Partie 1 — Baseline GloVe
    • Partie 2 — Embeddings BERT
    • Partie 3 — Comparaison et analyse qualitative
  • Tableau comparatif
  • Analyse qualitative : exemples différenciateurs
  • Courbes ROC
• Cours - Graphes et réseaux sociaux : définitions, propriétés, modèles
  • Motivation : pourquoi étudier les graphes ?
    • Le phénomène du petit monde
  • Éléments de théorie des graphes
    • Définitions fondamentales
    • Degré
    • Chemins et distances
    • Connexité
    • Représentations informatiques
    • Parcours de graphe : BFS et DFS
  • Propriétés caractéristiques des graphes
    • Distribution de degrés
    • Coefficient de clustering
    • Centralités
  • Modèles de génération de graphes
    • Modèle de Gilbert \(G(n,p)\)
    • Modèle de Watts-Strogatz
    • Modèle de Barabási-Albert (attachement préférentiel)
    • Modèle configurationnel
    • Propriétés typiques des réseaux réels
  • Mesure et biais d’observation
  • Difficultés algorithmiques
  • Outils et frameworks
  • Références
• Travaux pratiques - GraphFrames : chemins et centralités
  • Objectif du TP
  • Mise en place de l’environnement
  • Partie 1 — Chemins
    • Création du graphe de transport
    • Visualisation simple
    • Parcours en largeur (BFS)
    • Plus court chemin valué (Dijkstra)
    • Propriétés globales du graphe
  • Partie 2 — Centralités
    • Chargement du graphe social
    • Centralité de degré
    • Centralité d’intermédiarité
    • Centralité de proximité
  • Partie 3 — PageRank
    • PageRank standard
    • PageRank personnalisé
  • Synthèse
  • Références
• Cours - Graphes et réseaux sociaux : détection de communautés
  • Introduction
  • Mesurer la qualité d’un partitionnement : la modularité
  • Approches par coupure spectrale
  • Approche divisive : Girvan-Newman
  • Optimisation de la modularité : l’algorithme de Louvain
  • Leiden : une amélioration de Louvain
  • Propagation d’étiquettes
  • Communautés recouvrantes : DEMON et BigCLAM
  • Synthèse comparative
  • Références
• Travaux pratiques - Analyse d’un grand graphe (Medline)
  • Objectif du TP
  • Description des données
  • Partie 1 — Construction du graphe
    • Récupération des données
    • Extraction des tags MeSH principaux
    • Construction du graphe de co-occurrences
  • Partie 2 — Propriétés structurelles
    • Composantes connexes
    • Distribution de degrés
    • Coefficient de clustering global
  • Partie 3 — Centralités
    • Centralité de degré
    • Centralité d’intermédiarité
    • PageRank
  • Partie 4 — Détection de communautés
    • Label Propagation avec GraphFrames
    • Louvain avec NetworkX
    • Interprétation thématique des communautés
    • Robustesse : suppression des hubs
  • Bibliographie
• Cours - Visualisation d’information
  • Introduction
    • Motivation
    • Histoire et exemples
  • Principes de la visualisation
    • Définition de la visualisation
    • Principes d’excellence graphique
    • Le pipeline de la visualisation
    • Types de données
  • Composants de la visualisation : la sémiologie graphique
    • Marques visuelles
    • Variables visuelles
  • Représentations
    • Données multivariées
    • Données hiérarchiques
  • Interaction
    • Le mantra de Shneiderman
    • Zoom
    • Filtrage
  • Bonnes pratiques
    • Choisir le bon type de graphique
    • Visualiser du texte
    • Couleurs
    • Le rapport données/encre (data-ink ratio)
    • Pièges à éviter
  • Références
• Travaux pratiques - Visualisation de données volumineuses
  • Objectif du TP
  • Partie 1 — Mise en place et chargement des données
    • Installation des bibliothèques
    • Initialisation de Spark
    • Téléchargement du fichier Parquet
    • Chargement dans Spark
    • Préparation dans Spark
    • Conversion Spark → Polars via sparkpl
  • Partie 2 — Le problème de l’overplotting
  • Partie 3 — Visualisations statistiques avec Altair
    • Distribution horaire des courses
    • Distribution par jour de la semaine
    • Heatmap heure × jour
    • Distribution des tarifs
    • Tarif moyen selon le mode de paiement
    • Graphique composé : tarif et pourboire par heure
    • Zones les plus actives
  • Partie 4 — Millions de points avec hvPlot et Datashader
    • Principe de Datashader
    • Installation et imports
    • Scatterplot avec Datashader : fare_amount vs trip_distance
    • Densité par heure avec Datashader
    • Distribution 2D : durée vs distance
    • Histogramme 2D (heatmap de densité)
  • Partie 5 — Agrégation multi-mois dans Spark
  • Synthèse
  • Références
• Cours - Visualisation de graphes et réseaux sociaux
  • Introduction
  • Planarité et critères esthétiques
  • L’algorithme de Tutte : fondation historique
  • Méthodes orientées forces
    • Modèle général
    • Contraintes et extensions
    • Critères esthétiques
  • Algorithmes notables
    • Fruchterman-Reingold (1991)
    • Yifan Hu (2005)
    • ForceAtlas et ForceAtlas2 (2011–2014)
    • OpenOrd (2010)
    • Synthèse comparative
  • Spatialisation et sémantique des nœuds
  • Passage à l’échelle et alternatives
  • Outils et bibliothèques
  • Pour aller plus loin
  • Références
• Travaux pratiques - Visualisation de graphes : Gephi et Spark
  • Objectif du TP
  • Partie 1 — Gephi : prise en main et exploration interactive
    • Exercice 1.1 — Les Misérables
    • Exercice 1.2 — Communications VoIP
    • Exercice 1.3 — Réseau de métro
  • Partie 2 — Pipeline Spark → visualisation sur le graphe Medline
  • Synthèse : quand utiliser quoi ?
  • Pour aller plus loin
• Cours - Fouille de flux de données
  • Exemples d’applications
  • Architecture d’un système de traitement de flux de données
  • Échantillonnage dans un flux
  • Filtrage dans un flux et filtre de Bloom
  • Fenêtres sur un flux
  • Mise à jour et application de modèles : l’exemple de Streaming K-means
  • Spark Structured Streaming
  • Apache Kafka
    • Architecture
    • Propriétés clés
    • Cas d’usage typiques
    • Kafka et Spark Structured Streaming
• Travaux pratiques - Fouille de flux de données
  • Architecture du TP
  • Installation de la bibliothèque cliente SSE
  • Initialisation de la session Spark
  • Démarrage du producteur de flux
  • Lecture du flux dans Spark Structured Streaming
  • Requête 1 : affichage des titres des pages modifiées
  • Arrêt de la requête précédente
  • Requête 2 : comptage des modifications par wiki (fenêtre glissante)
  • Requête 3 : détection des grandes modifications
  • Requête 4 : fraction des modifications faites par des bots
  • Arrêt de la requête et du producteur
• Cours - Systèmes de recommandation
  • Problématique et terminologie
  • Recommandation par similarité de contenu
  • Recommandation par filtrage collaboratif
    • Méthodes basées sur la similarité (memory-based)
  • Filtrage collaboratif par factorisation matricielle
    • SVD et approximation de rang réduit
    • Factorisation matricielle régularisée
    • Algorithme ALS pour la factorisation régularisée
  • Recommandation basée sur les graphes
    • Modélisation par graphe biparti
    • PageRank personnalisé (PPR)
    • Projections du graphe biparti
    • Graphes enrichis par des métadonnées
    • Plongements de graphes pour la recommandation
  • Comparaison des approches
  • Évaluation des systèmes de recommandation
  • Références
• Travaux pratiques - Systèmes de recommandation avec Spark MLlib
  • Objectif du TP
  • Partie 1 — Données et exploration
    • Récupération des données MovieLens 25M
    • Initialisation de Spark
    • Chargement des données
    • Distribution des notes
    • Films les plus notés et les mieux notés
  • Partie 2 — Factorisation matricielle ALS
    • Principe rappelé
    • Division apprentissage / test
    • Entraînement du modèle
    • Évaluation sur le jeu de test
    • Inspection des facteurs latents
    • Génération de recommandations
  • Partie 3 — Réglage des hyperparamètres
    • Impact du rang
    • Impact de la régularisation
    • Validation croisée avec CrossValidator
  • Partie 4 — Recommandation par graphe avec GraphFrames
    • Construction du graphe biparti
    • PageRank personnalisé pour un utilisateur
    • Recommandation basée sur les communautés
  • Synthèse
  • Références
• Cours - Aspects éthiques dans la fouille de données (1/2)
  • Pourquoi l’éthique ?
  • Principaux sujets de préoccupation
    • Nature des problèmes constatés
  • Biais et discrimination
    • Critères observationnels
    • Critère d’indépendance
    • Critère de séparation
    • Critère de « suffisance »
    • Relations entre les trois critères
• Travaux pratiques - Détection des disparités
  • Récupération des données
  • Pré-traitement et examen des données
  • Formulation du problème et analyse des disparités présentes
    • Disparités dans les données
    • Modèle obtenu avec tous les attributs
    • Modèle obtenu avec les seuls attributs ECOA-compatibles
    • Analyse des disparités
• Cours - Aspects éthiques dans la fouille de données (2/2)
  • Typologie et sources des biais
    • Disparités sociales et cercle vicieux
    • Disparités introduites par la collecte des données
    • Mécanismes de transfert des disparités vers les modèles
  • Détecter l’iniquité
    • Techniques générales
    • Spécificités de la décision algorithmique
  • Supprimer ou réduire l’iniquité
    • Approche 1 : Prétraitement
    • Approche 2 : Contrainte dans le processus d’apprentissage
    • Approche 3 : Post-traitement
    • Méthode de post-traitement par randomisation [HPS16]
• Travaux pratiques - Correction des disparités
  • Pouvons-nous prédire des attributs protégés à partir des autres ?
  • Réduction ou suppression des disparités dans un modèle
    • Rappel du principe
    • Visualisation du domaine admissible
    • Recherche du point cible par optimisation linéaire
    • Calcul des taux de conversion
    • Application de la correction par randomisation
    • Vérification de l’effet de la correction
  • Conclusion

• Page de recherche

• Index

• Index du module