Microsoft veröffentlicht Phi-4: Ein Open-Source Sprachmodell mit 14 Milliarden Parametern

Microsoft hat Phi-4 vorgestellt, ein neues Open-Source Sprachmodell mit 14 Milliarden Parametern. Es basiert auf einer Mischung aus synthetischen Daten, gefilterten Daten von öffentlich zugänglichen Webseiten, akademischen Büchern und Frage-Antwort-Datensätzen. Phi-4 wurde einem strengen Verbesserungsprozess unterzogen, der sowohl überwachtes Feintuning als auch direkte Präferenzoptimierung beinhaltet, um präzise Anweisungsbefolgung und robuste Sicherheitsmaßnahmen zu gewährleisten. Mit einer Kontextlänge von 16k Token ist es für allgemeine KI-Systeme und -Anwendungen (hauptsächlich auf Englisch) konzipiert, die ressourcenbeschränkte Umgebungen (Speicher/Rechenleistung), geringe Latenzzeiten und starke Fähigkeiten in Bezug auf Argumentation und Logik benötigen. Microsoft betont, dass Entwickler die üblichen Einschränkungen von Sprachmodellen berücksichtigen und Genauigkeit, Sicherheit und Fairness bewerten und mindern sollten, insbesondere bei risikoreichen Anwendungen.