Jeu d'élimination des LLM : raisonnement social, stratégie et tromperie
Des chercheurs ont créé un benchmark de « jeu d'élimination » multijoueur pour évaluer les grands modèles de langage (LLM) en matière de raisonnement social, de stratégie et de tromperie. Huit LLM entrent en compétition, participant à des conversations publiques et privées, formant des alliances et votant pour éliminer les adversaires jusqu'à ce qu'il n'en reste plus que deux. Un jury de joueurs éliminés désigne ensuite le vainqueur. L'analyse des journaux de conversation, des schémas de vote et des classements révèle comment les LLM équilibrent les connaissances partagées et les intentions cachées, en forgeant des alliances ou en les trahissant stratégiquement. Le benchmark dépasse les simples dialogues, forçant les modèles à naviguer dans les dynamiques publiques par rapport aux privées, le vote stratégique et la persuasion du jury. GPT-4.5 Preview a été le modèle le plus performant.