Phi Silica：Windows 11 Copilot+ PC向けの高効率小型言語モデル

マイクロソフトの応用科学チームは、多角的なアプローチを用いて、Windows 11 Copilot+ PC（Snapdragon Xシリーズプロセッサ搭載）におけるAI効率のブレークスルーを達成しました。開発された小型言語モデルPhi Silicaは、電力効率、推論速度、メモリ効率を大幅に向上させます。Phi Silicaは、Copilot+ PCの様々な機能（クリックして実行、デバイス上での書き換えと要約機能（Word、Outlook）、開発者向けに事前最適化されたSLMなど）を支えています。4ビット重み量子化、メモリマップド埋め込みなどの技術により、メモリ使用量が大幅に削減され、QuaRot技術による高精度4ビット量子化推論を実現しています。短いプロンプトでの最初のトークン生成時間は230ミリ秒、スループットは最大20トークン/秒です。