Windows 11 Copilot+ PC 的高效小型语言模型 Phi Silica

微软应用科学团队通过多学科方法，在Windows 11 Copilot+ PC（搭载骁龙X系列处理器）上实现了突破性的AI效率提升。他们开发的小型语言模型Phi Silica，显著提高了能效、推理速度和内存效率。Phi Silica驱动了Copilot+ PC的诸多功能，例如Word和Outlook中的点击即做、设备端重写和总结功能，并为开发者提供预优化SLM。Phi Silica采用4位权重量化、内存映射嵌入等技术，大幅降低内存占用，并通过QuaRot技术实现了高精度4位量化推理。其在短提示下的首个标记生成时间仅为230毫秒，吞吐量高达20个标记/秒。