LLM이 존재하지 않는 소프트웨어 패키지를 '환각'하는 현상: 공급망 취약점

연구자들은 대규모 언어 모델(LLM)에서 우려되는 취약점을 발견했습니다. 코드 생성 중에 존재하지 않는 소프트웨어 패키지를 '환각'하는 현상입니다. 이는 무작위적인 것이 아니며, 특정한 비존재 패키지 이름이 반복적으로 생성되어 재현 가능한 패턴을 만듭니다. 공격자는 이러한 환각된 이름으로 악성 코드를 게시하고 개발자가 액세스할 때까지 기다림으로써 공급망 공격을 수행할 수 있습니다. 오픈소스 LLM은 상용 모델보다 이러한 '패키지 환각' 비율이 높았고, Python 코드는 JavaScript 코드보다 발생 빈도가 낮았습니다.