AI가 고릴라를 놓치다: LLM의 탐색적 데이터 분석의 어려움

한 연구에 따르면, 특정 가설을 검증하도록 주어진 학생들은 자유롭게 데이터를 탐색한 학생들에 비해 데이터의 명백한 이상치를 감지할 가능성이 낮은 것으로 나타났습니다. 저자는 그 후 대규모 언어 모델(LLM)인 ChatGPT 4와 Claude 3.5를 탐색적 데이터 분석에서 테스트했습니다. 결과적으로 두 모델 모두 생성된 시각화에서 초기 단계에서는 명확한 패턴을 식별하지 못했고, 시각화 이미지를 제공한 후에야 이상치를 감지했습니다. 이는 LLM의 탐색적 데이터 분석 능력의 한계를 보여주는 것으로, 시각적 패턴 인식보다 정량적 분석에 치우쳐 있음을 나타냅니다. 이것은 강점(인간의 인지적 편향 회피)이자 동시에 약점(중요한 통찰력을 놓칠 가능성)입니다.