Phi Silica: Ein hocheffizientes kleines Sprachmodell für Windows 11 Copilot+ PCs

Das Microsoft Applied Sciences Team erzielte mit einem multidisziplinären Ansatz einen Durchbruch in der KI-Effizienz auf Windows 11 Copilot+ PCs (mit Snapdragon X-Serie Prozessoren). Ihr kleines Sprachmodell, Phi Silica, verbessert die Energieeffizienz, Inferenzgeschwindigkeit und Speichereffizienz deutlich. Phi Silica unterstützt mehrere Copilot+ PC-Funktionen, darunter Click to Do, gerätebasierte Umschreibung und Zusammenfassung in Word und Outlook, und bietet Entwicklern ein voroptimiertes SLM. Techniken wie 4-Bit-Gewichtsquantisierung, speicherabgebildete Einbettungen und QuaRot (eine neue 4-Bit-Quantisierungsmethode) reduzieren den Speicherbedarf drastisch und ermöglichen eine hochgenaue 4-Bit-quantisierte Inferenz. Es erreicht eine Zeit bis zum ersten Token von 230 ms bei kurzen Eingabeaufforderungen und einen Durchsatz von bis zu 20 Token/Sekunde.