El gigantesco modelo de IA de 1 bit de Microsoft: Rendimiento impresionante, compatibilidad limitada

Investigadores de Microsoft presentaron BitNet b1.58 2B4T, un innovador modelo de IA de 1 bit con 2 mil millones de parámetros. Entrenado en un conjunto de datos masivo, supera a modelos comparables de Meta, Google y Alibaba en pruebas de referencia como GSM8K y PIQA, con el doble de velocidad y un uso de memoria significativamente menor. Sorprendentemente, funciona en CPUs, incluyendo el Apple M2. Sin embargo, su dependencia del framework personalizado bitnet.cpp de Microsoft, actualmente incompatible con GPUs, limita su adopción generalizada. Si bien es prometedor para dispositivos con recursos limitados, la compatibilidad sigue siendo un gran obstáculo.