BitNet: 微软开源的一比特大语言模型推理框架 (github.com)

BitNet 是微软开源的一比特大语言模型推理框架，支持在CPU上进行快速和无损的1.58位模型推理，未来还将支持NPU和GPU。它在ARM CPU上实现了1.37倍到5.07倍的加速，在x86 CPU上实现了2.37倍到6.17倍的加速，同时显著降低了能耗。BitNet 还可以在单个CPU上运行100B的BitNet b1.58模型，速度可达每秒5-7个token。