LLM 탈락 게임: 사회적 추론, 전략, 그리고 기만

연구자들은 대규모 언어 모델(LLM)의 사회적 추론, 전략 및 기만 능력을 평가하기 위해 멀티플레이어 "탈락 게임" 벤치마크를 만들었습니다. 8개의 LLM이 경쟁하여 공개 및 비공개 대화를 나누고, 동맹을 맺고, 투표를 통해 상대방을 제거하여 최종적으로 두 개만 남게 됩니다. 그런 다음 제거된 플레이어의 배심원이 승자를 결정합니다. 대화 로그, 투표 패턴 및 순위를 분석하여 LLM이 공유 지식과 숨겨진 의도의 균형을 맞추고 동맹을 맺거나 전략적으로 배신하는 방법을 알아낼 수 있습니다. 이 벤치마크는 단순한 대화를 넘어 모델이 공개 대 비공개 역학, 전략적 투표 및 배심원 설득 등을 극복하도록 강제합니다. GPT-4.5 Preview가 최고 성적을 거두었습니다.