利用Shapley值解释大型语言模型决策
2024-12-28
大型语言模型（LLM）在模拟人类行为方面展现出巨大潜力，但其决策机制的透明度有待提高。本文提出了一种基于Shapley值的新方法，用于解释LLM的决策过程，量化提示词中每个组成部分对模型输出的贡献。通过两个应用案例，研究发现LLM决策容易受到“token噪声”的影响，即模型对信息量低的token过度敏感。这引发了对LLM在模拟人类行为方面的可靠性和普适性的担忧，并强调了在使用LLM进行研究时，需要谨慎对待提示词设计，并关注其结果的局限性。
AI
Shapley值