Phi Silica : Un modèle linguistique compact et hautement efficace pour les PC Windows 11 Copilot+
L’équipe des sciences appliquées de Microsoft a réalisé une percée en matière d’efficacité de l’IA sur les PC Windows 11 Copilot+ (équipés de processeurs Snapdragon série X) grâce à une approche multidisciplinaire. Leur petit modèle linguistique, Phi Silica, améliore considérablement l’efficacité énergétique, la vitesse d’inférence et l’efficacité de la mémoire. Phi Silica alimente plusieurs fonctionnalités de Copilot+ PC, notamment Click to Do, les capacités de réécriture et de résumé sur l’appareil dans Word et Outlook, et fournit un SLM pré-optimisé aux développeurs. Des techniques telles que la quantification des poids à 4 bits, les plongements mappés en mémoire et QuaRot (une nouvelle méthode de quantification à 4 bits) réduisent considérablement l’empreinte mémoire et permettent une inférence quantifiée à 4 bits de haute précision. Il affiche un temps jusqu’au premier jeton de 230 ms pour les invites courtes et un débit pouvant atteindre 20 jetons/seconde.