LLM-Eliminierungsspiel: Soziales Denken, Strategie und Täuschung

Forscher haben einen Multiplayer-„Eliminierungsspiel“-Benchmark entwickelt, um große Sprachmodelle (LLMs) in Bezug auf soziales Denken, Strategie und Täuschung zu bewerten. Acht LLMs treten gegeneinander an, führen öffentliche und private Gespräche, bilden Allianzen und stimmen ab, um Gegner zu eliminieren, bis nur noch zwei übrig sind. Eine Jury aus ausgeschiedenen Spielern bestimmt dann den Gewinner. Die Analyse von Gesprächsprotokollen, Abstimmungsmustern und Ranglisten zeigt, wie LLMs geteiltes Wissen mit verborgenen Absichten in Einklang bringen, Allianzen schmieden oder diese strategisch verraten. Der Benchmark geht über einfache Dialoge hinaus und zwingt die Modelle, zwischen öffentlichen und privaten Dynamiken, strategischem Abstimmen und der Überzeugung der Jury zu navigieren. GPT-4.5 Preview war das leistungsstärkste Modell.