Explicando decisões de modelos de linguagem grandes usando valores de Shapley
Modelos de linguagem grandes (LLMs) oferecem possibilidades empolgantes para simular o comportamento humano, mas seus processos de tomada de decisão carecem de transparência. Este artigo apresenta uma nova abordagem baseada em valores de Shapley para interpretar o comportamento de LLMs e quantificar a contribuição de cada componente de prompt para a saída do modelo. Por meio de dois casos de aplicação, o estudo revela que as decisões de LLM são suscetíveis a "ruído de token", onde o modelo reage desproporcionalmente a tokens com conteúdo informativo mínimo. Isso levanta preocupações sobre a robustez e a generalização de insights de LLMs na simulação de comportamento humano, destacando a necessidade de engenharia cuidadosa de prompts e uma compreensão mais matizada de suas limitações quando usados em pesquisa.