Projet de classification probabiliste pour une tâche de data-mining

Ce projet est orienté autour d'un jeu de données particulier qui a certaines caractéristiques qu'on retrouve dans beaucoup de problèmes de data-mining:

Pour couronner le tout, ce jeu de données est petit (environ 8000 exemples) en comparaison du nombre d'entrées (environ 1000), donc c'est facile d'overfitter.

L'objectif de ce projet est de faire des comparaisons entre plusieurs approches afin d'essayer de trouver une combinaison qui fonctionnera le mieux.

A cause des caractéristiques ci-haut, l'erreur de classification n'est pas un bon indicatif de performance. Deux autres critères sont plus adéquats: la log-vraisemblance conditionnelle de P(Y|X), et le lift. Ce critère est basé sur un prédicteur qui sort un score (le plus grand possible quand Y=1, le plus petit possible quand Y=0). On trie les exemples par leur score et on compte le nombre d'exemples de la classe rare (Y=1 ici) parmi les scores extrêmes (ici les plus grands scores). On prend par exemple les 10% avec le score le plus élevé.

Approches suggérées:

Les données: sur la page principale du projet

Références

SVMs: voir www.kernel-machines.org

.

PCA: voir Bishop?

Isomap et LLE: un bon point de départ est

@article{Bengio-eigen-NC2004,

author = {Y. Bengio and O. Delalleau and N. {Le Roux} and J.-F. Paiement and P. Vincent and M. Ouimet},

title = {Learning eigenfunctions links spectral embedding and kernel {PCA}},

journal = {Neural Computation},

volume = {16},

number = 10,

pages = {2197--2219},

year = 2004,

}

Kohonen maps or Self-Organizing Maps (SOM): voir par exemple le site suivant

.