Expliquer les décisions des grands modèles de langage à l'aide des valeurs de Shapley
Les grands modèles de langage (LLM) offrent des possibilités passionnantes pour simuler le comportement humain, mais leurs processus de prise de décision manquent de transparence. Cet article présente une nouvelle approche basée sur les valeurs de Shapley pour interpréter le comportement des LLM et quantifier la contribution de chaque composant de l'invite à la sortie du modèle. Grâce à deux applications, l'étude révèle que les décisions des LLM sont sensibles au « bruit des jetons », où le modèle réagit de manière disproportionnée aux jetons ayant un contenu informatif minimal. Cela soulève des inquiétudes quant à la robustesse et à la généralisation des informations obtenues à partir des LLM dans la simulation du comportement humain, soulignant la nécessité d'une ingénierie minutieuse des invites et d'une compréhension plus nuancée de leurs limites lorsqu'ils sont utilisés dans la recherche.
Lire plus