Explicación de las decisiones de los modelos de lenguaje grandes utilizando valores de Shapley
Los modelos de lenguaje grandes (LLM) ofrecen posibilidades emocionantes para simular el comportamiento humano, pero sus procesos de toma de decisiones carecen de transparencia. Este artículo presenta un nuevo enfoque basado en los valores de Shapley para interpretar el comportamiento de los LLM y cuantificar la contribución de cada componente del prompt a la salida del modelo. A través de dos aplicaciones, el estudio revela que las decisiones de los LLM son susceptibles al "ruido de token", donde el modelo reacciona de forma desproporcionada a los tokens con contenido informativo mínimo. Esto plantea preocupaciones sobre la solidez y la generalización de los conocimientos obtenidos de los LLM en la simulación del comportamiento humano, destacando la necesidad de una ingeniería cuidadosa de los prompts y una comprensión más matizada de sus limitaciones cuando se utilizan en la investigación.
Leer más
