1比特AI基础设施：第1.1部分，CPU上快速无损的BitNet b1.58推理
2024-11-20
本文介绍了一种名为"1-bit AI Infra"的软件栈，旨在充分发挥1比特大型语言模型（LLM）的潜力，例如BitNet和BitNet b1.58。该软件栈开发了一套内核，支持在CPU上对三元BitNet b1.58 LLM进行快速且无损的推理。实验结果表明，在x86 CPU和ARM CPU上，该软件栈分别实现了2.37倍至6.17倍和1.37倍至5.07倍的显著加速。
6