IFT 6760A - Hiver 2021
Techniques de factorisation matricielle et tensorielle pour l'apprentissage automatique
- Le premier cours aura lieu le jeudi 14 janvier à 11h30
- Toutes les discussions et annonces pour la classe auront lieu sur la Piazza. Si vous n'avez pas reçu les instructions pour rejoindre la page Piazza du cours, contactez-moi.
- La page de l'édition de l'année dernière de la classe est disponible ici.
Description
L'objectif de ce cours est de présenter un aperçu des techniques d'algèbre linéaire et multilinéaire pour la conception / l'analyse d'algorithmes et de modèles de ML, et d'impliquer les étudiants dans de nouvelles recherches dans le domaine.
- Notions fondamentales d'algèbre linéaire et multilinéaire.
- Anciennes et nouvelles méthodes ML utilisant la décomposition matricielle et tensorielle: PCA / CCA, filtrage collaboratif, clustering spectral de graphe, méthodes spectrales pour HMM, K-FAC, normalisation spectrale, méthode tensorielle des moments, compression de réseaux de neurones, régression / complétion de tenseur, etc.
- Problèmes ouverts.
Informations pratiques
Quand:
Mardis 12:30-2:30PM et Jeudi 11:30-1:30PM
Premier cours : Jeudi 14 janvier
Où: En ligne (zoom)
Professeur: Guillaume Rabusseau
Heures de permanence: Mardi après le cours
Evaluation
Projet (30%) + Devoirs (30%) + Quizzes (10%) + Présentation d'articles (30%)
Liste indicative de sujets (à mettre à jour au fur et à mesure)
- Fondements de l'algèbre linéaire
- Espaces vectoriels, cartes linéaires, matrices, rang, changement de base, espaces de Hilbert (orthogonalité), etc.
- Décomposition matricielle: valeurs propres / vecteurs propres, diagonalisabilité (forme canonique de Jordan), algorithme de Gram-Schmidt, décomposition QR, décomposition en valeurs singulières.
- Algèbre linéaire et techniques de factorisation matricielle pour ML
- L'algèbre linéaire est partout: PCA, CCA, LLE, ...
- Clustering spectral de graphes
- Apprentissage spectral des HMM, des PCFG et des modèles associés
- Filtrage collaboratif, complétion de matrice et reconstruction de matrice de bas rang
- Algèbre multilinéaire et techniques de factorisation tenseur pour ML: les tenseurs sont les nouvelles matrices!
- Présentation de plusieurs formats de décomposition tensorielle: CanDecomp / ParaFac (CP), Tucker, Tensor Train (TT), etc.
- Réseaux de tenseurs (Tensor Networks): un outil fédérateur
- Quelques algorithmes de décomposition tensorielle: alternance des moindres carrés, algorithmes basés sur SVD (HOSVD, TT-SVD), algorithmes de type DMRG, etc.
- Méthode tensorielle des moments: estimateurs cohérents à partir de tenseurs observables
- Algorithmes de décomposition CP des tenseurs symétriques: algorithme de Jenrich, méthode des puissances tensorielles, ...
- Extensions multilinéaires: complétion de tenseur, approximation de tenseur, régression tensorielle, ...
- Compression de modèles ML (par exemple NN, MRF) par factorisation tensorielle