DeepSeek의 이상 토큰: 결함 목록
2025-01-25
연구원이 오픈소스 대규모 언어 모델 DeepSeek-V3 및 r1에서 다수의 '이상 토큰'을 발견했습니다. 이러한 토큰을 입력하면 모델이 이상한 동작을 보이는데, 예를 들어 단어가 특이한 유니코드 문자, 약어 또는 이모티콘으로 바뀌는 등입니다. 연구원은 DeepSeek 어휘에서 각 토큰을 체계적으로 테스트하여 이러한 결함을 식별하고 분류했습니다. '조각 토큰'이라고 불리는 일부 토큰은 특정 맥락에서만 이상을 보입니다. 'Nameeee' 및 'EDMFunc'와 같은 다른 토큰은 일관되게 특이한 치환을 생성합니다. 'Nameeee'는 자주 'M' 관련 단어나 기호를 생성하고, 'EDMFunc'는 'H'로 시작하는 단어나 일본식 이름을 선호합니다. 세부아노어 및 기타 필리핀 언어를 중심으로 한 다수의 비영어 이상 토큰도 발견되었습니다. '<｜end of thinking｜>'와 같은 특수 토큰은 모델의 기능을 더욱 방해할 수 있습니다. 이 연구는 LLM의 내부 작동 방식에 대한 귀중한 통찰력을 제공하고 미래 연구의 길을 엽니다.
AI
이상 토큰