Projet de session

Il est temps de penser à votre projet de session. La page qui suit spécifie ce qui est attendu de vous et vous donne des suggestions de projets possibles. N'hésitez pas à passer me voir pour discuter d'idées de projets. (Voir ce sujet sans les cadres: [ici]).

Agenda

Voici le calendrier des échéances des documents à remettre:

  1. 20 février 2015 Choix d'une question de recherche sous la forme d'une page qui décrit le problème abordé, la ou les questions de recherche qui sont étudiées, les données sur lesquelles étudier ces questions et une idée du protocole d'évaluation. Ceci prendra la forme d'un document pdf d'au plus 3 pages que vous m'enverrez pas mail. Le nom de ce document doit être IFT6010-sujet-nom-prenom.pdf (avec nom et prénom dument remplacés). N'hésitez pas à venir me consulter avant la remise de votre proposition !
  2. 6 mars 2015 l'URL d'un site web accessible (ce site Web sera accessible depuis le site du cours) qui contiendra au moins:
    • la ou les questions de recherche abordées (le document pdf remis à l'étape 1)
    • les données utilisées; si ces données sont privées, alors un descriptif (quantité, genre, exemple, etc.)
    • une capsule hebdomadaire (ou plus fréquente si vous le désirez) qui fait mention de vos avancées: un paragraphe au plus pour décrire ce sur quoi vous travaillez.
    • une table qui indique les résultats des variantes les plus intéressantes testées à date (lorsque cela s'applique). Chaque variante doit être brièvement identifiée, ainsi que la ou les métriques rapportées dans la table
  3. 17 avril 2015 une version électronique d'un rapport clair et concis de vos travaux, mettant en avant la méthodologie et les résultats obtenus. Votre rapport doit tenter de positionner votre travail dans l'état de l'art. Le format doit être pdf et le nom de votre rapport doit être IFT6010-rapport-nom-prenom.pdf (avec nom et prénom dument remplacés).

Vous pouvez remettre un travail en groupe d'au plus 2 personnes. Il convient dans ce cas de décrire en annexe dans le rapport le travail de chacun. De même, les capsules hebdomadaires sur votre site web doivent être préfixées des initiales de la personne concernée par le travail effectué. Bien sûr, je m'attends à ce qu'un travail collectif soit plus fourni qu'un travail remis par une seule personne.

Question de recherche

Identifier une question de recherche peut rendre du temps, surtout si vous découvrez le domaine du TAL avec ce cours. Je vous conseille donc de vous renseigner dès maintenant sur des problématiques du domaine du TAL, sur les données disponibles pour réaliser votre travail ainsi que sur la disponibilité d'éventuels outils utiles à la réalisation de votre projet. Voir à ce sujet la section Ressources pour un point de départ.

Quelque soit la question sur laquelle vous allez vous pencher, vous devez proposer un moyen d'évaluer vos progrès. Si vous n'y parvenez pas, c'est que la question de recherche ne se prête probablement pas aux exigences du projet.

Il est tout à fait possible de définir une question de recherche qui correspond à votre sujet de recherche. Ceci sera d'autant plus naturel que vous faites de l'apprentissage machine, de la linguistique ou encore de la bio-informatique, mais des parallèles peuvent bien sûr être dressés entre le traitement des langues et d'autres domaines comme le génie logiciel. Il est important cependant de comprendre qu'un travail propre à ce cours vous est demandé; aussi, si vous identifiez une question de recherche en rapport avec votre sujet de recherche, vous devez prendre soin de décrire la composante propre que vous développerez dans le cadre de ce cours.

Vous n'avez pas à vous soucier des résultats que vous pouvez attendre de la question de recherche que vous allez étudier. En d'autres terme, le résultat de vos évaluations ne conditionneront pas votre note au projet, pour autant que vos résultats ne soient pas imputables à un manque de curiosité ou de persévérance.

Des sujets d'intérêts sont listés plus bas qui peuvent vous servir de point de départ. Il ne s'agit en aucun cas d'une liste exhaustive et les articles mentionnés ont été choisis pour leur simplicité de lecture et/ou leur étendue du problème.

À propos du rapport

La partie la plus importante de votre projet est le rapport. Celui-ci doit faire état de manière claire de la question de recherche abordée et des moyens mis en oeuvre pour tenter d'y répondre. Il n'y a pas de limite de taille sur le rapport que vous allez remettre, mais il est important de garder à l'esprit que:

  • votre rapport devrait tenir en 8 pages (ou moins), nonobstant les annexes. Si vous sentez le besoin d'en mettre plus, n'hésitez pas à reléguer en annexe des résultats intermédiaires, de manière à vous concentrer dans le corps du rapport sur l'essentiel. Vous pouvez également vous référer à des ressources disponibles sur le site web si vous le souhaitez (par exemple pour détailler certains détails d'une variante).
  • votre rapport doit faire une large place à votre démarche ainsi qu'aux expérimentations réalisées. Une description à plat des expériences est souvent fastidieuse à lire, aussi je vous invite à clairement identifier les "paramètres" de votre démarche avant de faire état de leur impact. Le but du rapport est de faire état de votre curiosité à résoudre un problème particulier, à décrire les réalisations et à identifier des pistes d'amélioration.
  • Vous pouvez parler des détails d'implémentation lorsque cela est pertinent. Il n'est cependant pas recommandé de développer des aspects techniques triviaux qu'une structure de base réglerait simplement (par exemple). Si vous éprouvez des problèmes informatiques vous pouvez bien sûr le mentionner, et je vous invite le cas échéant de venir en discuter avec moi au moment où il surviennent plutôt que d'en faire simplement état dans votre rapport après coup. Votre rapport doit brièvement mentionner les informations pertinentes comme le ou les langages de programmation utilisés, l'environnement de programmation (unix/windows, matlab ou autre librairie, etc.).

À propos de votre travail

Il est difficile de décrire la quantité de travail exigée (au dela du fait que je m'attends à ce que vous passiez de l'ordre d'une journée par semaine à votre projet). Vous devez me convaincre (via votre rapport) que vous avez fourni un effort non trivial à la résolution de votre problème. Je suis par ailleurs sensible à l'environnement dans lequel vous effectuez vos travaux. Il est plus facile de rapporter des résultats sur une tâche facile à évaluer dont les données sont déjà installées et en ayant à disposition des librairies capables de résoudre votre problème que de travailler sur une question où l'évaluation est délicate et où peu d'outils sont disponibles. Lorsque cela s'y prête, n'hésitez pas à tester des approches de base afin de mettre en perspective le bienfondé de votre approche. Ceci permettra par exempleégalement de mieux positionner vos résultats. À ce propos, analyser les raisons qui font qu'une approche que vous avez essayée ne fonctionne pas est aussi informatif que de décrire quelque chose qui a fonctionné. Bien sur, cette analyse doit être fondée (simplement mentionner qu'avec 100 fois plus de données, votre approche aurait fonctionné est un peu court).

Ressources utiles pour la définition de votre question de recherche

Voici une liste non exhaustive de thèmes que je vous pouvez choisir de développer dans le cadre de votre projet. Les articles de départ que je propose ne sont pas les seuls possibles (mes choix sont justifiés par des raisons de lisibilité des papiers: pas trop techniques, problématique générale, pointeurs pertinents à des travaux reliés). Vous pouvez également consulter le site de l'ACL afin d'y trouver un thème (attention, les articles dans ces conférences ne sont pas toujours faciles à lire) ou consulter le site en français de la revue en ligne TAL.

Vous pouvez également décider de vous intéresser à un problème pour lequel des données et des protocoles d'évaluation sont déjà disponibles (c'est même conseillé). Je liste dans ce qui suit quelques tâches partagées dont les données sont (parfois) disponibles.

  • La conférence CONLL organise chaque année des tâches partagées pour lesquelles des données et des performances de systèmes sont disponibles. Vous pourriez y trouver votre bonheur (attention certaines tâches sont complexes):
    • la tâche partagée de 2015 ! La tâche consiste à identifier des relations du discours entre des segments de textes. Plus de détails ici.
    • détection d'erreurs dans les textes de non natifs: 2014, 2013
    • résolution de coréférence: 2012 2011
    • détection d'incertitudes: 2010
    • étiquetage sémantique: 2005 et 2004
    • détection d'entités nommées: 2003 2002
    • détection de clauses 2001 et chunking: 2000
  • SemEval organise chaque année des tâches partagées sur la sémantique computationnelle (pendant longtemps avec des tâches comme la désambiguisation ou la mesure de similarité sémantique).
  • les campagnes NEWS portent sur le problème de la translitération. Je peux vous donner accès aux données permettant de répliquer la tâche NEWS 2009 anglais-chinois (sous promesse de non divulgation).
  • Apprentissage de la morphologie d'une langue: MorphoChallenge
  • Workshops on Multiword Expressions: MWE
  • Text Analysis Conference: TAC