La prédiction structurée décrit le problème d’apprendre une correspondance entre des entrées et des sorties structurées, c'est-à-dire des sorties qui sont constituées de parties interdépendantes souvent soumises à des contraintes. Des exemples incluent la prédiction de graphes, d’ordonnancements, d’appareillements, etc., et apparaissent dans de nombreuses applications telles que la vision par ordinateur, le traitement du langage naturel et la biologie computationnelle, parmi d'autres.
Il s'agit d'un cours d'apprentissage machine avancé qui se concentrera sur les principes fondamentaux et les outils connexes pour la prédiction structurée. Il présentera aussi plusieurs concepts d'optimisation avancée en même temps car ces concepts sont très utiles pour la prédiction structurée. Le cours passera en revue l’état de l'art, fera le lien entre les anciennes et les nouvelles approches, et identifiera les questions en suspens. Il consistera en un mélange de cours magistraux et d'un projet de recherche mené par les étudiants.
Prérequis : Je suppose que la plupart du contenu de IFT 6269 modèles graphiques probabilistes sera maitrisé par les étudiants.
Enseignant : Simon Lacoste-Julien
Bureau : @Mila : D-2100 et @UdeM : 3339 André-Aisenstadt
Semestre d'hiver 2023 :
Les cours auront lieu à l'auditorium 1 à Mila; 2e étage du 6650 Rue Saint-Urbain
Mardi 14h30-16h30
Jeudi 13h30-15h30
Premier cours le mardi 10 janvier ; présentation du poster le 27 avril
La langue d'enseignement sera l'anglais.
Projet (80%) - rapport de projet à remettre + présentation du projet le 27 avril 13h30-15h30 | Des informations détaillées sont à venir ; voir l'exemple de la classe Hiver 2020.
Participation en classe (20 %) - poser des questions pendant le cours ou discuter du contenu du cours sur Slack; potentiallement aussi produire des notes scribe pour un cours.
notes de lecture + références pour 2023 (mises à jour en cours de route).
Modèles à base d’énergie et perte convexe de substitut
Théorie de la prédiction structurée : consistance, etc.
Apprentissage génératif vs. discriminatif
Champs aléatoires conditionnels (CRF)
Séparateur à vaste marge (SVM) structuré
SVM structuré avec variables latentes; algorithme CCCP
Optimisation à grande échelle : algorithme de Frank-Wolfe, réduction de variance, méthode de gradient stochastique, optimisation par bloc de coordonnées
Algorithmes combinatoires : problème du flot de coût minimum, optimisation sous-modulaire, programmation dynamique
Réseau de neurones récurrents (RNN) et extensions modernes