不到100MB的LLM模型:llm-smollm2插件发布

2025-02-07
不到100MB的LLM模型:llm-smollm2插件发布

作者发布了llm-smollm2插件,该插件将一个压缩的SmolLM2-135M-Instruct LLM模型打包到Python包中,大小不到100MB,可以直接通过pip安装。文章详细介绍了插件的构建过程,包括寻找合适的模型、处理llama-cpp-python库的冗余日志输出,以及打包和发布到PyPI的过程。虽然该模型能力有限,但作者认为它是学习LLM技术的好工具。

开发