Le gigantesque modèle d'IA 1 bit de Microsoft : Performances impressionnantes, compatibilité limitée

Des chercheurs de Microsoft ont dévoilé BitNet b1.58 2B4T, un modèle d'IA 1 bit révolutionnaire doté de 2 milliards de paramètres. Entraîné sur un ensemble de données massif, il surpasse les modèles comparables de Meta, Google et Alibaba sur des benchmarks tels que GSM8K et PIQA, avec une vitesse doublée et une consommation de mémoire significativement réduite. Étonnamment, il fonctionne sur les processeurs, y compris l'Apple M2. Cependant, sa dépendance au framework personnalisé bitnet.cpp de Microsoft, actuellement incompatible avec les GPU, limite son adoption généralisée. Bien que prometteur pour les appareils aux ressources limitées, la compatibilité reste un obstacle majeur.