lm.rs:使用 Rust 在本地 CPU 上进行最小化的 LLM 推理

2024-10-12

lm.rs是一个极简的代码库,用于在 CPU 上对语言模型(LLM)进行完整的推理,而无需使用机器学习库。它支持 Google 的 Gemma 2 模型和 Meta 的 Llama 2 模型,并提供了在本地 CPU 上运行这些模型进行文本生成的步骤。该项目还提供了使用量化模型的选项,以减少模型大小并提高推理速度。

24
未分类