AI 생성 웹사이트: 기술과 지식의 실험

2024-12-31

보안 연구원 Nicholas Carlini는 12일간의 실험을 진행했습니다. 매일 다른 언어 모델을 사용하여 자신의 웹사이트 홈페이지와 자기소개를 다시 작성했습니다. 그 결과 모델은 시각적으로 훌륭한 웹페이지를 생성하는 데 능숙했지만, 사실의 정확성에는 크게 부족했습니다. 예를 들어, o1-mini 모델이 생성한 웹페이지에는 43개의 진술이 있었는데, 그중 32개는 완전히 잘못되었고, 9개는 큰 오류가 있었으며, 정확한 것은 단 2개뿐이었습니다. 이는 LLM에서 "기술"(웹페이지 생성)과 "지식"(사실의 정확성)의 큰 차이를 보여주며, AI 생성 콘텐츠에 대한 의존에는 주의가 필요함을 시사합니다.