IFT 6166 - Hiver 2024
Techniques de factorisation matricielle et tensorielle pour l'apprentissage automatique
- Le premier cours aura lieu le lundi 8 janvier à 9h30
- Toutes les discussions et annonces pour la classe auront lieu sur la Piazza. Si vous n'avez pas reçu les instructions pour rejoindre la page Piazza du cours, contactez-moi.
- La page de l'édition de 2020 de la classe est disponible ici.
Description
L'objectif de ce cours est de présenter un aperçu des techniques d'algèbre linéaire et multilinéaire pour la conception / l'analyse d'algorithmes et de modèles de ML, et d'impliquer les étudiants dans de nouvelles recherches dans le domaine.
- Notions fondamentales d'algèbre linéaire et multilinéaire.
- Anciennes et nouvelles méthodes ML utilisant la décomposition matricielle et tensorielle: PCA / CCA, filtrage collaboratif, clustering spectral de graphe, méthodes spectrales pour HMM, K-FAC, normalisation spectrale, méthode tensorielle des moments, compression de réseaux de neurones, régression / complétion de tenseur, etc.
- Problèmes ouverts.
Informations pratiques
Quand:
Lundis 9:30-11:30 et Mardis 9:30-11:30
Premier cours : Lundi 8 janvier
Où: Mila, Auditorium 2
Professeur: Guillaume Rabusseau
Heures de permanence: Lundis après le cours
Evaluation
Projet (30%) + Devoirs (30%) + Quizzes (10%) + Présentation d'articles (30%)
Liste indicative de sujets (à mettre à jour au fur et à mesure)
- Fondements de l'algèbre linéaire
- Espaces vectoriels, cartes linéaires, matrices, rang, changement de base, espaces de Hilbert (orthogonalité), etc.
- Décomposition matricielle: valeurs propres / vecteurs propres, diagonalisabilité (forme canonique de Jordan), algorithme de Gram-Schmidt, décomposition QR, décomposition en valeurs singulières.
- Algèbre linéaire et techniques de factorisation matricielle pour ML
- L'algèbre linéaire est partout: PCA, CCA, LLE, ...
- Clustering spectral de graphes
- Apprentissage spectral des HMM, des PCFG et des modèles associés
- Filtrage collaboratif, complétion de matrice et reconstruction de matrice de bas rang
- Algèbre multilinéaire et techniques de factorisation tenseur pour ML: les tenseurs sont les nouvelles matrices!
- Présentation de plusieurs formats de décomposition tensorielle: CanDecomp / ParaFac (CP), Tucker, Tensor Train (TT), etc.
- Réseaux de tenseurs (Tensor Networks): un outil fédérateur
- Quelques algorithmes de décomposition tensorielle: alternance des moindres carrés, algorithmes basés sur SVD (HOSVD, TT-SVD), algorithmes de type DMRG, etc.
- Méthode tensorielle des moments: estimateurs cohérents à partir de tenseurs observables
- Algorithmes de décomposition CP des tenseurs symétriques: algorithme de Jenrich, méthode des puissances tensorielles, ...
- Extensions multilinéaires: complétion de tenseur, approximation de tenseur, régression tensorielle, ...
- Compression de modèles ML (par exemple NN, MRF) par factorisation tensorielle