지식 증류: 작은 AI 모델이 거대 기업에 도전하다
2025-07-24
중국 AI 기업 DeepSeek이 올해 초 출시한 챗봇 R1은 주요 AI 기업의 모델과 견줄 만한 성능을 비용과 컴퓨팅 파워를 크게 줄여 달성함으로써 큰 주목을 받았습니다. 이로 인해 DeepSeek이 OpenAI의 o1 모델에 대한 무단 접근을 수반할 가능성이 있는 지식 증류를 사용했다는 의혹이 제기되었습니다. 그러나 지식 증류는 2015년 Google 논문으로 거슬러 올라가는 확립된 AI 기술입니다. 이는 대규모 "교사" 모델에서 소규모 "학생" 모델로의 지식 전송을 포함하며, 성능 저하를 최소화하면서 비용과 크기를 크게 줄입니다. 이 방법은 BERT와 같은 모델의 개선을 주도했으며, 다양한 AI 애플리케이션에서 큰 가능성을 계속 보여주고 있습니다. 이 논쟁은 이 기술의 참신성이 아니라 그 힘과 확립된 성격을 부각합니다.