マイクロソフトの巨大な1ビットAIモデル：驚異的な性能、しかし互換性に課題

マイクロソフトの研究者たちは、20億パラメーターを持つ画期的な1ビットAIモデル、BitNet b1.58 2B4Tを発表しました。大規模なデータセットでトレーニングされ、GSM8KやPIQAなどのベンチマークで、Meta、Google、アリババの同等のモデルを凌駕し、2倍の速度と大幅に低いメモリ使用量を実現しています。驚くべきことに、Apple M2を含むCPU上で動作します。しかし、現在GPUと互換性のないマイクロソフトのカスタムフレームワークbitnet.cppに依存しているため、広範な採用には制限があります。リソースの限られたデバイスには有望ですが、互換性は依然として大きな課題です。