IFT3390/6390

Fondements de l'apprentissage machine

Hiver 2007

Informations et plan de cours


Dernières nouvelles

Horaire

Mardi 13h30 - 15h30 Théorie AA 1411
Jeudi 10h30 - 11h30 Théorie AA 1411
Vendredi 10h30 - 11h30 Travaux pratiques AA 1409
Vendredi 11h30 - 12h30 Labo AA 3185

Contenu et objectifs du cours

Ce cours est une introduction aux algorithmes d'apprentissage, un champ de recherche en intelligence artificielle. Ces algorithmes ont pour objectif de permettre à la machine d'apprendre à partir d'exemples. Le focus du cours est la classification: on observe un ensemble de paires (obser- vation, classe) et on essaye de prédire la classe d'une nouvelle observation. Les applications classiques de ces algorithmes se font dans le domaine de reconnaissance des formes (caractères, parole, etc.). Dans les dernières années plusieurs nouveaux champs d'applications sont apparus: le forage des données, l'analyse statistique de données textuelles, ou la gestion quantitative de portefeuilles financiers, l'analyse des expressions génétiques, etc. La matière du cours peut être donc exploitée dans nombreux domaines de l'informatique.

Le cours couvrira les sujets suivants: notions générales (terminologie de base, généralisation, malédiction de la dimensionalité, capacité, comparaison des classifieurs), algorithmes supervisés (k plus proches voisins, classifieurs linéaires, réseaux de neurones, machines à vecteur de support, arbres de décision et régression, apprentissage des règles symboliques, boosting, processus Gaussiens), algorithmes non- supervisés (analyse des composantes principales, quantisation vectorielle, méthode de k-moyennes, cartes auto-organisatrices, méthodes spectrales), modèles graphiques.

Evaluation

Mode d'évaluation Valeur Date
Travaux pratiques 24% 3 devoirs comptant pour 8% chaque.
Projet 26% Proposition: 2 mars. Rapport d'étape: 27 mars. Rapport final: fin avril
Examen intra 25% Mardi 20 février (13h30, salle Y-117, pavillon Roger-Gaudry)
Examen final 25% Vendredi 27 avril (9h30-12h15, salle 1177, André Aisenstadt)

Examens et notes

Pour consulter vos notes (examen, TPs, exercices pratiques, ...) vous pouvez utilser la commande notes. Pour cela vous devez avoir une fenêtre Unix ouverte sur votre compte IRO. Tapez la commande notes ift3390 ou notes ift6390 selon votre cas.

Examen final, Hiver 2007: énoncé de l'examen final.

Le final était noté sur 115 points. La question 5, qu'une seule personne a bien réussie, compte pour 15 points de bonus (mais j'ai accrodé quelques points bonis même si vous n'avez pas trouvé la bonne solution). Les notes supérieures à 100 seront ramenées à 100 pour le décompte final.

Voici la distribution des notes pour les personnes présentes au final:
108 104 102 100
 98 96 92
84
76 73 72
67 63 57
46 43

Examen intra, Hiver 2007: énoncé de l'examen intra.

Voici la distribution des notes pour les personnes présentes à l'intra:
106 102 101 100 100 100
 96  94
 87  86
 79  73  72
 67  67  60

Livre recommandé pour le cours

Aucun livre n'est obligatoire pour suivre le cours. Le livre de base recommandé pour le cours (qui est assez général et couvre la plupart des sujets que nous aborderons) a été commandé à la librairie de l'université. Il s'agit de: Les livres suivants peuvent également servir d'ouvrages de base pour le cours:

Contenu détaillé des cours (planifiés ou effectués), lectures, échéances et travaux

Cette section sera mise à jour au fur et à mesure des cours. Vous y trouverez les liens vers les diapositives et autre matériel utilisé pour chaque cours, ainsi que vers les lectures hebdomadaires.

Semaine Date Thème du cours Matériel du cours Matériel imprimable (fonds blanc, 4 écrans / page) À lire Échéances et travaux
1 9.01.2007 Présentation du cours et introduction introduction.pdf    
  11.01.2007 Terminologie de l'apprentissage supervisé. Formalisation des méthodes à base de voisinage 2_rappel_terminologie_supervise.pdf 2_formalisation_voisinage.pdf terminologie.pdf
voisinage.pdf
Chapitre d'introduction de ma thèse.  
2 16.01.2007 Méthodes de type histogramme. Malédiction de la dimensionalité. Formalisation du problème de l'apprentissage. Notions de capacité et sur-apprentissage. 3_histo_curse_capacity.pdf

3_ProblemeApprentissage.pdf
histo_curse.pdf

ProblemeApprentissage.pdf
   
18.01.2007 Méthodes à base de voisinage: k-NN et fenêtres de Parzen pour classification, régression et estimation de densité. 4_kNN_Parzen.pdf kNN_Parzen.pdf    
3 23.01.2007 Classification multiclasse et régression multiple. Rappels de proba. Classifieur de Bayes. Classifieur de Bayes Naif. 5_classifieur_bayes.pdf
 
ProbabilitesBalazs.pdf
Bayes_classif.pdf

ProbaBalazs.pdf
ProbabilityWilliams.pdf ProbabilityRoweis.pdf ProbabilityBayesMoore.pdf  
  25.01.2007 Distributions. Gaussienne multivariée. Evaluation de la performance de généralisation. Courbes d'apprentissage. 6_gaussienne_evalperf.pdf Gaussienne_Evalperf.pdf    
4 30.01.2007 Fonctions discriminantes. Modèles génératifs et méthodes paramétriques. Principe du maximum de vraisemblance. 7_FonctionsDiscriminantes.pdf

7_MethodesParametriques.pdf
FoctionsDiscriminantes.pdf

MethodesParametriques.pdf
  Énoncé du devoir 1.
  01.02.2007 Rappels sur principe de minimisation du risque empirique pour la classification, la régression et l'estimation de densité. Lien avec principe du maximum de vraisemblance pour l'estimaiton de densité. Dérivation de la solution de maximum de vraisemblance pour une densité paramétrique Gaussienne univariée (1d).    
5 06.02.2007 Fonctions discriminantes linéaires. DiscriminantesLineaires.pdf DiscriminantesLineaires.pdf    
  08.02.2007 Fonctions discriminantes linéaires (suite).   Histoire du Perceptron (papier de Kaplan)  
6 13.02.2007 Descente de gradient, Perceptron.    
 
  15.02.2007 Réseaux de Neurones.  ReseauxDeNeurones.pdf ReseauxDeNeurones.pdf   Dû: devoir 1.
7 20.02.2007 Examen intra 13h30-15h30 en Y-117 pavillon Roger-Gaudry     Examen intra
  22.02.2007 Réseaux de Neurones (suite)    
8 27.02.2007     Dû: proposition de projet
  01.03.2007 Correction de l'intra      
9 06.03.2007 Semaine de lecture (pas de cours)      
  08.03.2007 Semaine de lecture (pas de cours)      
10 13.03.2007  L'astuce du noyau kernel_trick.pdf kernel_trick.pdf (4/page)    
  15.03.2007  Réseaux de Neurones: rétropropagation du gradient  Voir les notes de Yoshua sur le calcul de gradient, et l'exercice 2 du devoir 2.
Énoncé du devoir 2
11 20.03.2007 Régularisation, weight-decay, early stopping, hyper-paramètres d'un réseau de neurones, courbes d'apprentissage, et encodage des données (continues v.s. catégoriques).    
22.03.2007 Arbres de décision. ArbresDeDecision.pdf ArbresDeDecision.pdf (4/page)
12 27.03.2007  Arbres de décision (suite)
(et retour sur l'astuce du noyau)
     Dû: rapport d'étape du projet
  29.03.2007 Méta algorithmes, méthodes à base d'ensemble de classifieurs: bagging, ensembles d'entraînements pondérés, introducin au boosting.  Je n'ai pas de transparents pour cette introduction aux méthodes d'ensembles de classifieurs. Vous pouvez consulter le chapitre de Peter Bühlmann sur Bagging, Boosting and Ensemble Methods
   Dû: devoir 2.
13 03.04.2007 AdaBoost et vision du boosting comme une descente de gradient dans l'espace des fonctions.
   
  05.04.2007  Introduction à l'apprentissage non supervisé ApprentissageNonSupervise.pdf
ApprentissageNonSupervise2.pdf
ApprentissageNonSupervise3.pdf
ApprentissageNonSupervise.pdf
ApprentissageNonSupervise2.pdf
ApprentissageNonSupervise3.pdf
   
14 10.04.2007
  • Introduction aux modèles graphiques probabilistes (réseaux Bayesiens).
  • Présentations de projets
Introduction aux modèles graphiques probabilistes par Kevin Murphy     
  12.04.2007 Présentations de projets    
15 17.04.2007 Pas de cours (semaine d'examen)      
  19.04.2007 Pas de cours (semaine d'examen)      
16 23.04.2007 Pas de cours (semaine d'examen)      
  27.04.2007 Examen final  9h30-12h15 en 1177 Pavillon André-Aisenstadt     Dû: rapport de projet

Liens utiles

Autres références (ouvrages plus spécialisés pour approfondir certains sujets)