Fiabilité de la référence humaine dans la détection de thème

Armelle Brun, Kamel Smaïli


Abstract
Dans cet article, nous nous intéressons à la tâche de détection de thème dans le cadre de la reconnaissance automatique de la parole. La combinaison de plusieurs méthodes de détection montre ses limites, avec des performances de 93.1 %. Ces performances nous mènent à remetttre en cause le thème de référence des paragraphes de notre corpus. Nous avons ainsi effectué une étude sur la fiabilité de ces références, en utilisant notamment les mesures Kappa et erreur de Bayes. Nous avons ainsi pu montrer que les étiquettes thématiques des paragraphes du corpus de test comportaient vraisemblablement des erreurs, les performances de détection de thème obtenues doivent donc êtres exploitées prudemment.
Anthology ID:
2004.jeptalnrecital-long.27
Volume:
Actes de la 11ème conférence sur le Traitement Automatique des Langues Naturelles. Articles longs
Month:
April
Year:
2004
Address:
Fès, Maroc
Editors:
Philippe Blache, Noël Nguyen, Nouredine Chenfour, Abdenbi Rajouani
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA
Note:
Pages:
259–268
Language:
French
URL:
https://aclanthology.org/2004.jeptalnrecital-long.27
DOI:
Bibkey:
Cite (ACL):
Armelle Brun and Kamel Smaïli. 2004. Fiabilité de la référence humaine dans la détection de thème. In Actes de la 11ème conférence sur le Traitement Automatique des Langues Naturelles. Articles longs, pages 259–268, Fès, Maroc. ATALA.
Cite (Informal):
Fiabilité de la référence humaine dans la détection de thème (Brun & Smaïli, JEP/TALN/RECITAL 2004)
Copy Citation:
PDF:
https://aclanthology.org/2004.jeptalnrecital-long.27.pdf