Ingénierie de la fouille et de la visualisation de données massives (RCP216)

Contenu du cours :

• Préambule
  • Ouverture
  • Positionnement de RCP216 dans les parcours
  • Conditions d’accès
  • Organisation de l’enseignement
  • Evaluation
  • Travail nécessaire pour valider l’UE
  • Liens indispensables
  • Ressources
  • Liens externes
• Cours - Introduction
  • Sujet du cours
  • Contenu et objectifs de l’enseignement
  • Quelques références bibliographiques
  • Passage à l’échelle de la fouille de données
    • MapReduce et la fouille de données
    • Spark et la fouille de données
• Travaux pratiques - Introduction à Python
  • Python 2 ou Python 3 ?
  • Interpréteur Python
  • Documentation, aide en ligne de commande
  • Syntaxe
    • Types de base
    • Listes
    • Dictionnaires
  • Structures de contrôle
  • Fonctions, fonctions anonymes
  • Exceptions
  • Classes et héritage
  • Entrées et sorties
  • Calculs avec NumPy
    • Création de tableaux
    • Affichage des tableaux
    • Accès aux composantes d’un tableau, extraction de parties d’un tableau
    • Lecture et écriture des données d’un tableau
    • Opérations simples sur les tableaux Numpy
    • Algèbre linéaire
    • Vectorisation de fonctions
  • Visualisation avec Matplotlib
• Cours - Réduction du volume de données
  • Calculs sur un échantillon
    • Échantillonnage dans Spark
  • Réduction de dimension
    • Approches de réduction de dimension
    • Analyse en composantes principales
    • Analyse factorielle discriminante
    • Analyse factorielle des correspondances
• Travaux pratiques - Introduction à Spark
  • Spark : concepts de base avec exemples
    • Lancement de l’interpréteur de commandes en Python et opérations simples
    • Dataset et DataFrame
    • Enchaînements et évaluation « paresseuse »
    • Persistance
    • Utilisation de SQL
• Cours - Réduction de l’ordre de complexité
  • Principe des méthodes et typologie des besoins
  • Réduction de l’ordre de complexité : méthodes
  • Le hachage
  • Hachage sensible à la similarité (LSH)
  • LSH pour métriques courantes
  • Amplification de fonctions LSH
• Travaux pratiques - Lecture, écriture et manipulation de DataFrames. Exécution d’applications
  • Lecture, écriture et manipulation de DataFrame
    • Lecture directe ou construction de DataFrame
    • Ecriture de DataFrame
    • Sélection et manipulation de colonnes de DataFrame
  • Écrire et exécuter une application dans Spark
    • Écriture de l’application
    • Lancement en exécution de l’application
• Cours - Recherche par similarité. Application aux systèmes de recommandation
  • Recherche et jointure par similarité
    • LSH pour la distance cosinus
    • Jointure par similarité avec LSH
    • Malédiction de la dimension
  • Systèmes de recommandation
    • Le problème et les approches
    • Recommandation par similarité de contenu
    • Recommandation par filtrage collaboratif
    • Filtrage collaboratif basé sur la factorisation matricielle
    • Filtrage collaboratif avec Spark
• Travaux pratiques - Echantillonnage. Analyse en composantes principales
  • Échantillonnage
    • Lecture des données
    • Échantillonnage simple
    • Échantillonnage stratifié
  • Analyse en composantes principales (ACP)
    • Réaliser l’ACP
    • Visualiser les résultats
• TP++ - Analyse factorielle discriminante - Étape descriptive
• Cours - Classification Automatique
  • K-means
    • K-means : une implémentation simple MapReduce
    • Initialisation de K-means par K-means++
    • Initialisation K-means parallélisable : K-means||
  • Classification ascendante hiérarchique
  • Classification automatique dans Spark
• Travaux pratiques - Classification automatique avec k-means
  • K-means avec initialisation par K-means||
  • Questions
  • Les flux de travail (ML pipelines)
  • Construction de pipeline simple
• Cours - Fouille de données textuelles
  • Objectifs et applications
  • Approche générale
  • Principales opérations
    • Collecte et pré-traitement des données textuelles
    • Extraction d’entités primaires
    • Étiquetage grammatical
    • Extraction d’entités nommées et résolution référentielle
    • Analyse syntaxique
    • Extraction d’informations
    • Lemmatisation ou racinisation
  • Représentation vectorielle des textes
    • Modèle vectoriel de texte
    • Pondération TF-IDF
    • Analyse sémantique latente
    • Analyse sémantique explicite
    • Word2Vec
    • Autres représentations vectorielles de mots
    • Quelles représentations pour les textes ?
  • Environnements logiciels
    • Opérations liées à la fouille de textes dans Spark
• Travaux pratiques - Analyse de textes avec Spark NLP
  • Traitement d’un fichier texte en anglais
  • Expérimentation avec l’analyse des sentiments
  • Traitement d’un fichier texte en français
• Cours - Apprentissage supervisé à large échelle
  • Apprentissage supervisé et généralisation
    • Détermination du modèle
    • Estimation des performances de généralisation
  • Problématique de l’échelle en apprentissage supervisé
  • Machines à vecteurs de support
    • SVM : problème d’optimisation pour une séparation linéaire
    • SVM : séparation non linéaire
    • SVM : fonctions noyau
    • SVM et apprentissage à large échelle
    • SVM linéaires et descente de gradient stochastique
  • Évaluation pour problèmes avec une classe d’intérêt
  • Hyperparamètres et sélection de modèle
    • Grid search pour le choix des hyperparamètres
  • Apprentissage supervisé avec Spark
• Travaux pratiques - SVM linéaires
  • Récupération des fichiers nécessaires
  • SVM linéaires : apprentissage et évaluation
    • Construction de pipeline
    • Recherche des valeurs optimales des hyperparamètres
    • Évaluation du modèle obtenu avec les valeurs optimales des hyper-paramètres
  • Apprentissage et prédiction après réduction de la dimension des données
• Travaux pratiques - Discrimination de textes avec Spark NLP
  • Préparation et téléchargement des données
  • Chargement des données
  • Construction d’encodages de textes à partir d’encodages GloVe pour les mots
  • Construction de modèle sur les encodages des documents
  • Evaluation du modèle obtenu
  • Construction d’encodages de textes à partir d’encodages BERT pour les mots
    • Pour approfondir
• Cours - Fouille de flux de données
  • Exemples d’applications
  • Architecture d’un système de traitement de flux de données
  • Échantillonnage dans un flux
  • Filtrage dans un flux et filtre de Bloom
  • Fenêtres sur un flux
  • Mise à jour et application de modèles : l’exemple de Streaming K-means
  • Spark Streaming
• Travaux pratiques - Fouille de flux de données
  • Récupération des données
  • Classification et visualisation des résultats
• Cours - Ethique dans la fouille de données
  • Pourquoi l’éthique ?
  • Principaux sujets de préoccupation
    • Droits fondamentaux
    • Nature des problèmes constatés
  • Biais et discrimination
    • Critères observationnels
    • Critère d’indépendance
    • Critère de séparation
    • Critère de « suffisance »
    • Relations entre les trois critères
    • Typologie et sources des biais
    • Détecter l’iniquité
    • Supprimer ou réduire l’iniquité
• Travaux pratiques - Détection et correction des disparités
  • Récupération des données
  • Pré-traitement et examen des données
  • Formulation du problème et analyse des disparités présentes
    • Disparités dans les données
    • Modèle obtenu avec tous les attributs
    • Modèle obtenu avec les seuls attributs ECOA-compatibles
    • Analyse des disparités
    • Pouvons-nous prédire des attributs protégés à partir des autres ?
  • Réduction ou suppréssion des disparités dans un modèle
  • Conclusion
• Cours - Fouille de graphes et réseaux sociaux
  • Introduction
  • Des exemples de réseaux sociaux et de graphes d’interaction
    • Le nombre d’Erdős
    • Le Kevin Bacon Game
    • Réseaux de connaissances professionnelles
    • Réseaux de communication
    • Encore d’autres réseaux
  • Éléments de théorie des graphes
  • Étudier de tels réseaux
  • Mesure
  • Analyse
    • Quelques propriétés classiques
  • Modélisation
    • Quelques applications de la modélisation
  • Algorithmique
    • Difficultés algorithmiques
    • Deux algorithmes classiques
  • Logiciels et outils
  • Références
• Travaux pratiques - Introduction à GraphFrames : chemins et centralités
  • Objectif du TP
    • Invocations initiales et chargement des données
    • Création du graphe
    • Visualisation simple du graphe
  • Chemins
    • Parcours en largeur (Breadth-First Search)
    • Parcours en profondeur (Depth-First Search)
    • Plus court chemin
  • Centralités
    • Chargement des données, statistiques élémentaires
    • Visualisation du graphe
    • Centralité de Degré
    • Centralité de Proximité
    • Centralité d’intermédiarité
    • PageRank
    • PageRank personalisé
  • Références
• Travaux pratiques - Analyse d’un grand graphe (Medline)
  • Objectif du TP
  • Description des données
  • Démarche générale du TP
  • Récupération des données
  • Co-occurrences des sujets principaux de MeSH
    • Construction d’un graphe de co-occurrences avec GraphFrames
    • Comprendre la structure du graphe
  • Composantes connexes
  • Distribution de degrés
    • Bibliographie
• Cours - Détection de communautés dans les graphes
  • Des sous-graphes intéressants
  • Clustering hiérarchique
    • Approche ascendante
    • Approche divisive
    • Calcul de la centralité
    • Évaluer la structure communautaire : la modularité
  • Optimiser la modularité : l’algorithme de Louvain
  • Autres approches
  • Éléments pour des systèmes de recommandation « orientés graphes »
  • Références
  • Remerciements
• Cours - Visualisation d’information
• Cours - Visualisation de graphes et réseaux sociaux
  • Planarité d’un graphe et qualité de la visualisation
  • L’algorithme de W. Tutte
    • Vision matricielle de cet algorithme
    • La vision énergétique
    • Qualités et défauts de l’algorithme de Tutte
  • Après Tutte
    • L’impasse de la planarité
  • Méthodes et algorithmes modernes de spatialisation
    • Contraintes du domaine
    • Quelques algorithmes notables
  • Aller plus loin
    • Références citées dans ce chapitre
• Travaux pratiques - Visualisation de graphes avec Gephi
  • Exercice 1 - Les Misérables
  • Exercice 2 - Communications VoIP
  • Exercice 3 - Métro
  • Pour aller plus loin

• Page de recherche

• Index

• Index du module