lm.rs：使用 Rust 在本地 CPU 上进行最小化的 LLM 推理 (github.com)

lm.rs是一个极简的代码库，用于在 CPU 上对语言模型（LLM）进行完整的推理，而无需使用机器学习库。它支持 Google 的 Gemma 2 模型和 Meta 的 Llama 2 模型，并提供了在本地 CPU 上运行这些模型进行文本生成的步骤。该项目还提供了使用量化模型的选项，以减少模型大小并提高推理速度。