Analyse d’une tâche de substitution lexicale : quelles sont les sources de difficulté ? (Difficulty analysis for a lexical substitution task)

Ludovic Tanguy, Cécile Fabre, Camille Mercier


Abstract
Nous proposons dans cet article une analyse des résultats de la campagne SemDis 2014 qui proposait une tâche de substitution lexicale en français. Pour les 300 phrases du jeu de test, des annotateurs ont proposé des substituts à un mot cible, permettant ainsi d’établir un gold standard sur lequel les systèmes participants ont été évalués. Nous cherchons à identifier les principales caractéristiques des items du jeu de test qui peuvent expliquer les variations de performance pour les humains comme pour les systèmes, en nous basant sur l’accord inter-annotateurs des premiers et les scores de rappel des seconds. Nous montrons que si plusieurs caractéristiques communes sont associées aux deux types de difficulté (rareté du sens dans lequel le mot-cible est employé, fréquence d’emploi du mot-cible), d’autres sont spécifiques aux systèmes (degré de polysémie du mot-cible, complexité syntaxique).
Anthology ID:
2016.jeptalnrecital-poster.2
Volume:
Actes de la conférence conjointe JEP-TALN-RECITAL 2016. volume 2 : TALN (Posters)
Month:
7
Year:
2016
Address:
Paris, France
Editors:
Laurence Danlos, Thierry Hamon
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
AFCP - ATALA
Note:
Pages:
325–332
Language:
French
URL:
https://aclanthology.org/2016.jeptalnrecital-poster.2
DOI:
Bibkey:
Cite (ACL):
Ludovic Tanguy, Cécile Fabre, and Camille Mercier. 2016. Analyse d’une tâche de substitution lexicale : quelles sont les sources de difficulté ? (Difficulty analysis for a lexical substitution task). In Actes de la conférence conjointe JEP-TALN-RECITAL 2016. volume 2 : TALN (Posters), pages 325–332, Paris, France. AFCP - ATALA.
Cite (Informal):
Analyse d’une tâche de substitution lexicale : quelles sont les sources de difficulté ? (Difficulty analysis for a lexical substitution task) (Tanguy et al., JEP/TALN/RECITAL 2016)
Copy Citation:
PDF:
https://aclanthology.org/2016.jeptalnrecital-poster.2.pdf