IFT6266 A08 - Contenu des cours (planifiés ou effectués)

Date
Cours
Sujet
Lecture
Devoirs
3 sept
1ere
Introduction informelle à l'apprentissage statistique, et aux notions de généralisation et capacité (anciennes notes html), (certaines slides conf 28/02/08, pdf).
Lectures préparatoires et références mathématiques pratiques.
8 sept
2eme
Introduction un peu plus formelle à l'apprentissage statistique,
régression et classification linéaire.
(concepts du chapitre 1 de l'ancien livre de Bishop.) [pdf].
Bishop: sections 1.1,1.2.5,tout 1.5, 3(intro), 3.1(intro)
Devoir 1 [pdf, source latex], [solution Q1, source latex]]
10 sept
3eme
Mise à niveau en probabilités, statistiques, algèbre linéaire, optimisation. [pdf]
15 sept
4eme
Algorithmes non-paramétriques, k-plus-proches voisins, fléau de la dimensionalite.
Suite des concepts du chapitre 1 de l'ancien livre de Bishop [pdf].
(Quiz #1)
Bishop: sections 1.4, tout 2.5
17 sept
5eme
Suite des concepts du chapitre 1 de l'ancien livre de Bishop [pdf].
Classificateur de Bayes.
Classifieur Gaussien.
Régression logistique.
Biais et variance des estimateurs.
Bishop: sections 2.3.4, 4.1.{intro,1,2,3}, 4.2.{intro,1,2}, 4.3.{intro, 1,2,3,4}
22 sept
6eme
Classifieur par estimation de densité, classifieur gaussien (fin des notes du cours précédent); classifieur linéaire et perceptron[pdf]. Introduction au gradient[pdf].
Bishop: sections 3.2, 4.1(intro),4.1.7, 5.2.4
Devoir 2 [pdf]
24 sept
7eme
Algorithme du perceptron[pdf]. Introduction au gradient[pdf]. Description du devoir 2.
Bishop: 4.1.7, 5.2.4
29 sept
8eme
Gradient et graphe de flot [pdf]. Introduction à l'approche Bayesienne [pdf] en apprentissage statistique.
Bishop: Bishop: sections 1.2.3, 1.2.5, 1.2.6, 3.3(intro), 3.3.1, 3.3.2
1 oct
9eme
Intro aux réseaux de neurones multi-couches [pdf].
Bishop: sections 5(intro), tout 5.1, tout 5.2
Template (pour devoir 3) [.tgz] [.zip]
6 oct
10eme
Intro aux réseaux de neurones multi-couches (suite) [pdf].
Entrainement des réseaux de neurones multi-couches [pdf].
Bishop: sections 5(intro), tout 5.1, tout 5.2, 5.3, 5.4(intro), 5.5(intro), 5.5.2
Devoir 3 [pdf] [source latex] [infos et donnees]
8 oct
11eme
Entrainement des MLPs (suite) [pdf]
Pseudo-code pour arrêt prématuré des MLPs [pdf]
Début du feuillet sur la sélection de modèles [pdf].
Bishop: sections 5(intro), tout 5.1, tout 5.2, 5.3, 5.4(intro), 5.5(intro), 5.5.2
15 oct
12eme
Sélection de modèles [pdf].
Bishop: sections 1.3 et 3.4
Dernier cours avant l'intra: préparez vos questions!
27 oct
13eme
INTRA
29 oct
14eme
Machines à noyaux: processus Gaussiens et SVMs [pdf].
Slides d'Olivier Delalleau sur les processus Gaussiens [pdf].
Devoir 4 [pdf] [source latex] [infos et donnees]
3 nov
15eme
Fin du feuillet sur la sélection de modèles [pdf]. Machines à noyaux: processus Gaussiens. [pdf].
Slides d'Olivier Delalleau sur les processus Gaussiens [pdf].
5 nov
16eme
Fin du feuillet sur les machines à noyaux: SVMs [pdf]. Introduction au problème de la gestion de portefeuille financier, d'un point de vue statistique. (pdf)).
Mémoire de maîtrise de Nicolas Chapados.
10 nov
17eme
Correction de l'intra
12 nov
18eme
Modèles probabilistes graphiques (slides d'Aaron Courville)
Bishop: sections 8.1, 8.2, 8.4
Énoncé du projet
17 nov
19eme
Algorithme EM pour modèles probabilistes graphiques (slides d'Aaron Courville) (notes de cours de Yoshua Bengio)
Bishop: chapitre 9
19 nov
20eme
Validation séquentielle double.
Apprentissage non-supervisé, clustering.
Bishop: section 9.1
24 nov
21eme
Validation croisée double.
Apprentissage non-supervisé, analyse en composantes principales et apprentissage de variétés.
Bishop: chapitre 12 (surtout sections 12.1, 12.3)
26 nov
22eme
Apprentissage de variétés. Processus du data-mining.
-
Proposition de projet dûe
1er déc
23eme
Auto-encodeurs, IA, et réseaux profonds. Article de survol (Bengio 2008) sur les architectures profondes.
3 déc
24eme
Révision pour l'examen final.
Préparez vos questions!
10 déc
25eme
EXAMEN FINAL
31 déc
-
-
-
Rapport de projet dû