LLM의 무작위성 테스트가 예상치 못한 편향을 드러내다

이 실험에서는 OpenAI와 Anthropic의 여러 대규모 언어 모델(LLM)의 무작위성을 테스트했습니다. 모델이 동전을 던지고 0에서 10 사이의 무작위 숫자를 예측하도록 함으로써 연구자들은 그 결과에 상당한 편향이 있음을 발견했는데, 이는 모델이 진정으로 무작위적이지 않음을 나타냅니다. 예를 들어, 동전 던지기 실험에서 모든 모델은 '앞면'을 선호하는 경향을 보였고, GPT-o1은 49%라는 가장 극단적인 편향을 보였습니다. 홀수/짝수 예측에서는 대부분의 모델이 홀수를 선호했고, Claude 3.7 Sonnet은 47%라는 가장 강한 편향을 보였습니다. 이러한 결과는 고급 LLM조차도 훈련 데이터 분포의 영향을 받아 예상치 못한 패턴을 보일 수 있음을 강조합니다.