Phi Silica: Um Modelo de Linguagem Pequeno e Altamente Eficiente para PCs com Windows 11 Copilot+

A equipe de Ciências Aplicadas da Microsoft alcançou um avanço na eficiência de IA em PCs com Windows 11 Copilot+ (alimentados por processadores da série Snapdragon X) usando uma abordagem multidisciplinar. Seu modelo de linguagem pequeno, Phi Silica, melhora significativamente a eficiência energética, a velocidade de inferência e a eficiência de memória. O Phi Silica alimenta vários recursos do Copilot+ PC, incluindo Click to Do, recursos de reescrita e resumo no dispositivo no Word e Outlook, e fornece um SLM pré-otimizado para desenvolvedores. Técnicas como quantização de peso de 4 bits, embeddings mapeados na memória e QuaRot (um novo método de quantização de 4 bits) reduzem drasticamente a pegada de memória e alcançam inferência quantizada de 4 bits de alta precisão. Ele possui um tempo para o primeiro token de 230 ms para prompts curtos e uma taxa de transferência de até 20 tokens/segundo.