Projets sur les comités
La recherche sur les algorithmes d'apprentissage a mené à des résultats
parfois assez surprenant (des bonnes surprises) grâce à des
``méta-algorithmes'' dont le principe est toujours de COMBINER les réponses
de plusieurs modèles entraînés séparément (souvent par une simple moyenne).
Dans le cas de la régression, on peut montrer que l'erreur quadratique du
modèle moyen (le comité) est toujours inférieure à la moyenne des erreurs des
modèles individuels. De plus, cette différence est d'autant plus grande que
ces modèles sont ``décorrélés'' (i.e. ne font pas le même genre d'erreur).
L'objectif du projet est d'explorer une de ces méthodes sur des données
non-artificielles, ou bien d'aider à comprendre pourquoi ces méthodes
fonctionnent si bien (souvent en fait le modèle moyen fait même mieux que le
meilleur modèle dans
l'ensemble). Parmi ces méthodes notons:
- Bagging: moyenne simple de
modèles entrainés sur des tirages bootstrap des données originales.
- Comité de sous-ensembles
d'apprentissage: pour de grands ensembles de données, chaque modèle du
comité est entraîné sur un sous-ensemble différent (mais pas
nécessairement disjoint des autres) des données.
- Comité avec sous-ensembles des
variables: chaque modèle utilise seulement un sous-ensemble (choisi
aléatoirement) des variables d'entrée.
Dans tous les cas on veut répondre aux questions suivantes:
- est-ce que le comité généralise mieux qu'un modèle de base (qui voit
toutes les données et tous les exemples)?
- comment se comporte l'amélioration par rapport au nombre de membres du
comité? sature-t-elle vite?
- est-ce qu'on peut obtenir une meilleure performance en combinant deux
sources d'aléas (par exemple le choix des exemples et le choix des
variables)?
Ce projet est assez générique et vous pouvez choisir différents algorithmes
d'apprentissage et différents algorithmes d'apprentissage pour voir si les
conclusions se maintiennent à travers ces différents choix.
Références:
@inproceedings{Krogh95,
author = {A. Krogh and J. Vedelsby},
title = {Neural network ensembles, cross validation and active learning},
year = 1995,
pages = {231--238},
editor = NIPS7ed,
booktitle = NIPS7,
publisher = {Cambridge MA: MIT Press} ,
url = {http://books.nips.cc/papers/files/nips07/0231.pdf}
}
@article{ML:Breiman:bagging,
AUTHOR = {Leo Breiman},
TITLE = {Bagging Predictors},
JOURNAL = {Machine Learning},
YEAR = {1994},
NUMBER = {2},
PAGES = {123--140},
VOLUME = {24},
url = {ftp://ftp.stat.berkeley.edu/pub/users/breiman/bagging.ps.Z}
}