Algorithmes à base d’échantillonage pour l’entraînement de modèles de langue neuronaux (Here the title in English)

Matthieu Labeau, Alexandre Allauzen


Abstract
L’estimation contrastive bruitée (NCE) et l’échantillonage par importance (IS) sont des procédures d’entraînement basées sur l’échantillonage, que l’on utilise habituellement à la place de l’estimation du maximum de vraisemblance (MLE) pour éviter le calcul du softmax lorsque l’on entraîne des modèles de langue neuronaux. Dans cet article, nous cherchons à résumer le fonctionnement de ces algorithmes, et leur utilisation dans la littérature du TAL. Nous les comparons expérimentalement, et présentons des manières de faciliter l’entraînement du NCE.
Anthology ID:
2018.jeptalnrecital-court.29
Volume:
Actes de la Conférence TALN. Volume 1 - Articles longs, articles courts de TALN
Month:
5
Year:
2018
Address:
Rennes, France
Editors:
Pascale Sébillot, Vincent Claveau
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA
Note:
Pages:
455–464
Language:
French
URL:
https://aclanthology.org/2018.jeptalnrecital-court.29
DOI:
Bibkey:
Cite (ACL):
Matthieu Labeau and Alexandre Allauzen. 2018. Algorithmes à base d’échantillonage pour l’entraînement de modèles de langue neuronaux (Here the title in English). In Actes de la Conférence TALN. Volume 1 - Articles longs, articles courts de TALN, pages 455–464, Rennes, France. ATALA.
Cite (Informal):
Algorithmes à base d’échantillonage pour l’entraînement de modèles de langue neuronaux (Here the title in English) (Labeau & Allauzen, JEP/TALN/RECITAL 2018)
Copy Citation:
PDF:
https://aclanthology.org/2018.jeptalnrecital-court.29.pdf