Phi Silica: Un Modelo de Lenguaje Pequeño y Altamente Eficiente para PCs con Windows 11 Copilot+
El equipo de Ciencias Aplicadas de Microsoft logró un gran avance en la eficiencia de la IA en los PCs con Windows 11 Copilot+ (con procesadores de la serie Snapdragon X) utilizando un enfoque multidisciplinario. Su modelo de lenguaje pequeño, Phi Silica, mejora significativamente la eficiencia energética, la velocidad de inferencia y la eficiencia de la memoria. Phi Silica impulsa varias funciones de Copilot+ PC, incluyendo Click to Do, capacidades de reescritura y resumen en el dispositivo en Word y Outlook, y proporciona un SLM preoptimizado para los desarrolladores. Técnicas como la cuantificación de pesos de 4 bits, las incrustaciones mapeadas en memoria y QuaRot (un nuevo método de cuantificación de 4 bits) reducen drásticamente la huella de memoria y logran una inferencia cuantificada de 4 bits de alta precisión. Tiene un tiempo hasta el primer token de 230 ms para indicaciones cortas y una tasa de rendimiento de hasta 20 tokens/segundo.
Leer más
.png)
