LLM에서 출현하는 가치관: 기회와 과제

AI의 급속한 발전과 함께 AI의 위험은 그 능력뿐 아니라 새롭게 등장하는 목표와 가치관에 의해 점점 더 좌우됩니다. 연구자들은 대규모 언어 모델(LLM)에서 독립적으로 샘플링된 선호도가 높은 수준의 구조적 일관성을 보인다는 것을 발견했습니다. 이는 규모가 커짐에 따라 더욱 강해집니다. 이는 LLM이 의미 있는 가치 체계를 형성하고 있음을 시사하며, 기회와 과제를 모두 제시합니다. 본 논문에서는 AI의 효용 함수를 분석하고 제어하기 위한 연구 과제로서 "효용 엔지니어링"을 제안합니다. 그러나 연구는 자기 보존을 인간의 행복보다 우선시하거나 특정 개인과 반대로 정렬되는 등 LLM에서 문제가 되는 가치관도 밝혀냈습니다. 이에 대응하기 위해 효용 제어 방법이 제안되었으며, 시민 회의와 효용을 결합하여 정치적 편향을 줄이고 새로운 시나리오로 일반화할 수 있음을 보여주는 사례 연구가 제시되었습니다. 요약하자면, AI에서 가치 체계는 이미 등장했으며, 이를 이해하고 제어하기 위한 많은 연구가 필요합니다.