Projets sur les comités


La recherche sur les algorithmes d'apprentissage a mené à des résultats parfois assez surprenant (des bonnes surprises) grâce à des ``méta-algorithmes'' dont le principe est toujours de COMBINER les réponses de plusieurs modèles entraînés séparément (souvent par une simple moyenne).  Dans le cas de la régression, on peut montrer que l'erreur quadratique du modèle moyen (le comité) est toujours inférieure à la moyenne des erreurs des modèles individuels. De plus, cette différence est d'autant plus grande que ces modèles sont ``décorrélés'' (i.e. ne font pas le même genre d'erreur).

L'objectif du projet est d'explorer une de ces méthodes sur des données non-artificielles, ou bien d'aider à comprendre pourquoi ces méthodes fonctionnent si bien (souvent en fait le modèle moyen fait même mieux que le meilleur modèle dans
l'ensemble). Parmi ces méthodes notons:
Dans tous les cas on veut répondre aux questions suivantes:
Ce projet est assez générique et vous pouvez choisir différents algorithmes d'apprentissage et différents algorithmes d'apprentissage pour voir si les conclusions se maintiennent à travers ces différents choix.

Références:

@inproceedings{Krogh95,
 author = {A. Krogh and J. Vedelsby},
 title = {Neural network ensembles, cross validation and active learning},
 year = 1995,
 pages = {231--238},
 editor =  NIPS7ed,
 booktitle = NIPS7,
 publisher =  {Cambridge MA: MIT Press} ,
 url = {http://books.nips.cc/papers/files/nips07/0231.pdf}
}

@article{ML:Breiman:bagging,
   AUTHOR    = {Leo Breiman},
   TITLE     = {Bagging Predictors},
   JOURNAL   = {Machine Learning},
   YEAR      = {1994},
   NUMBER    = {2},
   PAGES     = {123--140},
   VOLUME    = {24},
    url = {ftp://ftp.stat.berkeley.edu/pub/users/breiman/bagging.ps.Z}
}