- Site web du cours (cette page): http://www.iro.umontreal.ca/~vincentp/ift3390
Les étudiants devraient se rendre sur cette page au moins une fois par semaine pour des informations importantes.
- Professeur: Pascal Vincent.
Consultation: après le cours ou sur rendez-vous.
Je suis notoirement très lent à répondre aux emails. Si vous avez des questions pressantes à me poser, essayez si possible de venir directement me voir. - Démos: Olivier Delalleau et Hugo Larochelle. Rendez-vous sur la page de démos pour les documents relatifs aux séances de travaux pratique et de laboratoire. Pour nous joindre: dift3390@iro.umontreal.ca
Dernières nouvelles
- 26 avril 2007: Vos notes de l'intra, du projet, et du cours sont disponibles. Voir la section Examens et notes.
- 26 avril 2007: Examen final demain vendredi 27 avril, 9h30 à 12h15, salle 1177. Toute documentation papier est permise. L'examen couvre toute la matière vue en cours/TP/TD au courant de la session, jusqu'au dernier cours inclus. Mais on insistera davantage sur la matière vue depuis l'intra.
- 5 avril 2007: L'énoncé du devoir 3 est disponible. Le devoir est dû au plus tard le vendredi 20 avril avant minuit.
- 4 avril 2007: Le rapport final pour le projet (voir les instructions) est dû le lundi 30 avril avant minuit.
- La date de remise du rapport d'étape du projet a été reportée au lundi 2 avril avant minuit.
- 22 mars 2007: L'examen final aura lieu le vendredi 27 avril de 9h30 à 12h15 en salle 1177 (il a été déplacé le matin comme vous l'aviez demandé).
- 15 mars 2007:
- L'énoncé du devoir 2 est disponible. Dû le 29 mars avant minuit.
- La date de remise du rapport d'étape du projet a été reportée au mardi 27 mars avant minuit. Allez voir les instructions pour ce qu'il y a à faire pour ce rapport d'étape.
- J'ai ajouté des liens dans le tableau de contenu de cours vers mes transparents de cours pour l'astuce du noyau, vers des notes de Yoshua Bengio pouvant vous aider à comprendre le calcul du gradient, et vers des articles relatifs à l'entraînement de réseaux de neurones par descente de gradient.
- 20 février 2007: La date de remise de la proposition de projet initiale a été repoussée au jeudi 2 mars avant minuit. Allez voir les instructions pour la proposition de projet et venez me trouver pour discuter de votre idée de projet.
- 20 février 2007: Examen Intra, 13h30, salle Y-117, pavillon Roger-Gaudry.
- 13 février 2007: J'ai ajouté des liens vers des versions plus facilement imprimables des transparents (fonds blanc, 4 écrans/page).
- 6 février 2007: Précisions et légère modification aux modalités d'évaluation.
- 29 janvier 2007: L'énoncé du devoir 1 est disponible. Dû le 15 février à 10h30. Pour la question 1, vous pouvez aller voir par ex. les liens vers des applications proposées par les étudiants les années passées.
- 22 janvier 2007: Rendez-vous sur la page de démos pour les documents relatifs aux séances de travaux pratique et de laboratoire.
- 18 janvier 2007: Les travaux pratiques du vendredi auront lieu la première heure au local 1409 et la deuxième heure au labo 3185.
- 10 janvier 2007: J'ai ajouté un lien vers les transparents du premier cours dans la section contenu détaillé.
Il n'y aura pas de TP cette semaine (pas encore assez de matière). Le premier TP aura lieu vendredi 19 janvier. - 1er janvier 2007: Bonne année à tous! Le premier cours aura lieu le mardi 9 janvier de 13h30 à 15h30 dans le local 1411 du pavillon André Aisenstadt.
Horaire
Mardi | 13h30 - 15h30 | Théorie | AA 1411 |
Jeudi | 10h30 - 11h30 | Théorie | AA 1411 |
Vendredi | 10h30 - 11h30 | Travaux pratiques | AA 1409 |
Vendredi | 11h30 - 12h30 | Labo | AA 3185 |
Contenu et objectifs du cours
Ce cours est une introduction aux algorithmes d'apprentissage, un champ de recherche en intelligence artificielle. Ces algorithmes ont pour objectif de permettre à la machine d'apprendre à partir d'exemples. Le focus du cours est la classification: on observe un ensemble de paires (obser- vation, classe) et on essaye de prédire la classe d'une nouvelle observation. Les applications classiques de ces algorithmes se font dans le domaine de reconnaissance des formes (caractères, parole, etc.). Dans les dernières années plusieurs nouveaux champs d'applications sont apparus: le forage des données, l'analyse statistique de données textuelles, ou la gestion quantitative de portefeuilles financiers, l'analyse des expressions génétiques, etc. La matière du cours peut être donc exploitée dans nombreux domaines de l'informatique.
Le cours couvrira les sujets suivants: notions générales (terminologie de base, généralisation, malédiction de la dimensionalité, capacité, comparaison des classifieurs), algorithmes supervisés (k plus proches voisins, classifieurs linéaires, réseaux de neurones, machines à vecteur de support, arbres de décision et régression, apprentissage des règles symboliques, boosting, processus Gaussiens), algorithmes non- supervisés (analyse des composantes principales, quantisation vectorielle, méthode de k-moyennes, cartes auto-organisatrices, méthodes spectrales), modèles graphiques.
Evaluation
Mode d'évaluation | Valeur | Date |
---|---|---|
Travaux pratiques | 24% | 3 devoirs comptant pour 8% chaque. |
Projet | 26% | Proposition: 2 mars. Rapport d'étape: 27 mars. Rapport final: fin avril |
Examen intra | 25% | Mardi 20 février (13h30, salle Y-117, pavillon Roger-Gaudry) |
Examen final | 25% | Vendredi 27 avril (9h30-12h15, salle 1177, André Aisenstadt) |
- Travaux pratiques: 3 devoirs comportant des parties théoriques et des parties de programmation. Ils se font individuellement.
- Projet: application des algorithmes d'apprentissage à une tâche proposée par l'étudiant (programmation, expérimentation, et comparaison de performance), en consultation avec le professeur. Proposition (environ 2 pages) pour fin février. Rapport d'étape (environ 2 pages) pour la mi-mars. Projet final (max 8 pages, style NIPS) pour la fin avril. Voir les instructions pour le projet.
- Les étudiants de premier cycle pourront effectuer le projet en équipe de 2. Le projet sera évalué sur la base des documents remis et comptera pour 26% de la note du cours.
- Pour les étudiants gradués, le projet se fera individuellement et devra comporter l'implémentation d'un nouvel algorithme d'apprentissage. Les étudiants gradués devront par ailleurs effectuer une présentation orale de leur projet (15 à 20 mn pendant les dernières semaines du cours) qui comptera pour 6% de la note du cours, alors que les documents remis (rapports) compteront pour 20%.
- Tous les étudiants devront également effectuer un certain nombre de lectures hebdomadaires (voir ci-dessous).
Examens et notes
Pour consulter vos notes (examen, TPs, exercices pratiques, ...) vous pouvez utilser la commande notes. Pour cela vous devez avoir une fenêtre Unix ouverte sur votre compte IRO. Tapez la commande notes ift3390 ou notes ift6390 selon votre cas.Examen final, Hiver 2007: énoncé de l'examen final.
Le final était noté sur 115 points. La question 5, qu'une seule personne a bien réussie, compte pour 15 points de bonus (mais j'ai accrodé quelques points bonis même si vous n'avez pas trouvé la bonne solution). Les notes supérieures à 100 seront ramenées à 100 pour le décompte final.
Voici la distribution des notes pour les personnes présentes au final:
108 104 102 100
98 96 92
84
76 73 72
67 63 57
46 43
Examen intra, Hiver 2007: énoncé de l'examen intra.
Voici la distribution des notes pour les personnes présentes à l'intra:
106 102 101 100 100 100
96 94
87 86
79 73 72
67 67 60
Livre recommandé pour le cours
Aucun livre n'est obligatoire pour suivre le cours. Le livre de base recommandé pour le cours (qui est assez général et couvre la plupart des sujets que nous aborderons) a été commandé à la librairie de l'université. Il s'agit de:- Duda, Hart and Stork, Pattern Classification, Wiley-Interscience, 2001.
- Hastie, Tibshirani, Friedman, The Elements of Statistical Learning, Springer-Verlag, 2001.
- David J.C. MacKay, Information Theory, Inference, and Learning Algorithms, Cambridge University Press, 2003. On peut également le télécharger librement du site web de l'auteur.
- Christopher Bishop, Pattern recognition and Machine Learning, Springer, 2006.
- Alpaydin, Introduction to Machine Learning (Adaptive Computation and Machine Learning), MIT Press, 2004.
Contenu détaillé des cours (planifiés ou effectués), lectures, échéances et travaux
Cette section sera mise à jour au fur et à mesure des cours. Vous y trouverez les liens vers les diapositives et autre matériel utilisé pour chaque cours, ainsi que vers les lectures hebdomadaires.
Semaine | Date | Thème du cours | Matériel du cours | Matériel imprimable (fonds blanc, 4 écrans / page) | À lire | Échéances et travaux |
---|---|---|---|---|---|---|
1 | 9.01.2007 | Présentation du cours et introduction | introduction.pdf | |||
11.01.2007 | Terminologie de l'apprentissage supervisé. Formalisation des méthodes à base de voisinage | 2_rappel_terminologie_supervise.pdf 2_formalisation_voisinage.pdf | terminologie.pdf voisinage.pdf |
Chapitre d'introduction de ma thèse. | ||
2 | 16.01.2007 | Méthodes de type histogramme. Malédiction de la dimensionalité. Formalisation du problème de l'apprentissage. Notions de capacité et sur-apprentissage. | 3_histo_curse_capacity.pdf 3_ProblemeApprentissage.pdf |
histo_curse.pdf ProblemeApprentissage.pdf |
||
18.01.2007 | Méthodes à base de voisinage: k-NN et fenêtres de Parzen pour classification, régression et estimation de densité. | 4_kNN_Parzen.pdf | kNN_Parzen.pdf | |||
3 | 23.01.2007 | Classification multiclasse et régression multiple. Rappels de proba. Classifieur de Bayes. Classifieur de Bayes Naif. | 5_classifieur_bayes.pdf ProbabilitesBalazs.pdf |
Bayes_classif.pdf ProbaBalazs.pdf |
ProbabilityWilliams.pdf ProbabilityRoweis.pdf ProbabilityBayesMoore.pdf | |
25.01.2007 | Distributions. Gaussienne multivariée. Evaluation de la performance de généralisation. Courbes d'apprentissage. | 6_gaussienne_evalperf.pdf | Gaussienne_Evalperf.pdf | |||
4 | 30.01.2007 | Fonctions discriminantes. Modèles génératifs et méthodes paramétriques. Principe du maximum de vraisemblance. | 7_FonctionsDiscriminantes.pdf 7_MethodesParametriques.pdf |
FoctionsDiscriminantes.pdf MethodesParametriques.pdf |
Énoncé du devoir 1. | |
01.02.2007 | Rappels sur principe de minimisation du risque empirique pour la classification, la régression et l'estimation de densité. Lien avec principe du maximum de vraisemblance pour l'estimaiton de densité. Dérivation de la solution de maximum de vraisemblance pour une densité paramétrique Gaussienne univariée (1d). | |||||
5 | 06.02.2007 | Fonctions discriminantes linéaires. | DiscriminantesLineaires.pdf | DiscriminantesLineaires.pdf | ||
08.02.2007 | Fonctions discriminantes linéaires (suite). | Histoire du Perceptron (papier de Kaplan) | ||||
6 | 13.02.2007 | Descente de gradient, Perceptron. | |
|||
15.02.2007 | Réseaux de Neurones. | ReseauxDeNeurones.pdf | ReseauxDeNeurones.pdf | Dû: devoir 1. | ||
7 | 20.02.2007 | Examen intra 13h30-15h30 en Y-117 pavillon Roger-Gaudry | Examen intra | |||
22.02.2007 | Réseaux de Neurones (suite) | |||||
8 | 27.02.2007 | Dû: proposition de projet | ||||
01.03.2007 | Correction de l'intra | |||||
9 | 06.03.2007 | Semaine de lecture (pas de cours) | ||||
08.03.2007 | Semaine de lecture (pas de cours) | |||||
10 | 13.03.2007 | L'astuce du noyau | kernel_trick.pdf | kernel_trick.pdf (4/page) | ||
15.03.2007 | Réseaux de Neurones: rétropropagation du gradient | Voir les notes de Yoshua sur le
calcul de gradient, et l'exercice 2 du devoir 2. |
|
Énoncé du devoir 2 | ||
11 | 20.03.2007 | Régularisation, weight-decay, early stopping, hyper-paramètres d'un réseau de neurones, courbes d'apprentissage, et encodage des données (continues v.s. catégoriques). | ||||
22.03.2007 | Arbres de décision. | ArbresDeDecision.pdf | ArbresDeDecision.pdf (4/page) | |||
12 | 27.03.2007 | Arbres de décision (suite) (et retour sur l'astuce du noyau) |
Dû: rapport d'étape du projet | |||
29.03.2007 | Méta algorithmes, méthodes à base d'ensemble de classifieurs: bagging, ensembles d'entraînements pondérés, introducin au boosting. | Je n'ai pas de transparents pour cette
introduction
aux méthodes d'ensembles de classifieurs. Vous pouvez
consulter
le chapitre de Peter Bühlmann sur Bagging,
Boosting and Ensemble Methods |
Dû: devoir 2. | |||
13 | 03.04.2007 | AdaBoost et vision du boosting comme une descente de gradient dans l'espace des fonctions. |
|
|||
05.04.2007 | Introduction à l'apprentissage non supervisé | ApprentissageNonSupervise.pdf ApprentissageNonSupervise2.pdf ApprentissageNonSupervise3.pdf |
ApprentissageNonSupervise.pdf ApprentissageNonSupervise2.pdf ApprentissageNonSupervise3.pdf |
|||
14 | 10.04.2007 |
|
Introduction aux modèles graphiques probabilistes par Kevin Murphy | |||
12.04.2007 | Présentations de projets | |||||
15 | 17.04.2007 | Pas de cours (semaine d'examen) | ||||
19.04.2007 | Pas de cours (semaine d'examen) | |||||
16 | 23.04.2007 | Pas de cours (semaine d'examen) | ||||
27.04.2007 | Examen final 9h30-12h15 en 1177 Pavillon André-Aisenstadt | Dû: rapport de projet |
Liens utiles
- Cours des années passées (donné par Balázs Kégl): Hiver 2006
Autres références (ouvrages plus spécialisés pour approfondir certains sujets)
- Schölkopf, Smola, Learning with Kernels,
MIT Press, 2002.
La bible des méthodes à noyau modernes. - Cristianini, Shawe-Taylor, An Introduction To
Support Vector Machines, Cambridge University Press, 2000.
Couverture simple du sujet des SVM. - Breiman, Friedman, Olshen, Stone, Classification and Regression Trees, CRC Press, 1993.
- Devroye, Györfi, Lugosi, A Probabilistic
Theory of Pattern Recognition, Springer-Verlag, 1997.
La bible de la théorie de l'apprentissage. - Vapnik, Statistical Learning Theory,
Wiley & Sons, 1998.
La théorie de l'apprentissage. - Vapnik, The Nature of Statistical Learning Theory,
Springer-Verlag, 1999.
Version plus digeste de Statistical Learning Theory. Focalise sur les principes plutot que sur les détails mathématiques.