Erklärung von Entscheidungen großer Sprachmodelle mithilfe von Shapley-Werten

Große Sprachmodelle (LLMs) bieten spannende Möglichkeiten zur Simulation menschlichen Verhaltens, aber ihre Entscheidungsprozesse sind nicht transparent. Dieser Artikel präsentiert einen neuen Ansatz, der auf Shapley-Werten basiert, um das Verhalten von LLMs zu interpretieren und den Beitrag jeder Komponente der Eingabeaufforderung zur Ausgabe des Modells zu quantifizieren. Anhand zweier Anwendungen zeigt die Studie, dass LLM-Entscheidungen anfällig für „Token-Rauschen“ sind, wobei das Modell überproportional auf Token mit minimalem Informationsgehalt reagiert. Dies wirft Bedenken hinsichtlich der Robustheit und Generalisierbarkeit von Erkenntnissen aus LLMs bei der Simulation menschlichen Verhaltens auf und unterstreicht die Notwendigkeit eines sorgfältigen Eingabedesigns und eines differenzierteren Verständnisses ihrer Grenzen bei der Verwendung in der Forschung.