Phi Silica: Windows 11 Copilot+ PC를 위한 고효율 소형 언어 모델

마이크로소프트 응용 과학팀은 다학제적 접근 방식을 사용하여 Windows 11 Copilot+ PC(Snapdragon X 시리즈 프로세서 탑재)에서 AI 효율성의 획기적인 발전을 이루었습니다. 개발된 소형 언어 모델인 Phi Silica는 전력 효율성, 추론 속도, 메모리 효율성을 크게 향상시킵니다. Phi Silica는 Copilot+ PC의 여러 기능(클릭하여 수행, 기기에서 다시 작성 및 요약 기능(Word, Outlook), 개발자를 위한 사전 최적화된 SLM 등)을 지원합니다. 4비트 가중치 양자화, 메모리 매핑 임베딩 등의 기술을 통해 메모리 사용량이 크게 줄어들고 QuaRot 기술을 통해 고정밀 4비트 양자화 추론을 달성했습니다. 짧은 프롬프트에서 첫 번째 토큰 생성 시간은 230밀리초이며, 처리량은 최대 20토큰/초입니다.