GitHub - huggingface/smollm：关于 SmolLM 和 SmolLM2 系列模型的一切

SmolLM2是一系列紧凑型语言模型，具有135M、360M和1.7B参数三种大小，可在设备上运行。HuggingFace发布了功能最强大的模型SmolLM2-1.7B-Instruct，它可以通过transformers、trl或使用llama.cpp、MLX和transformers.js等工具的量化版本用作助手。还提供了较小的模型SmolLM2-360M和SmolLM2-135M，适用于设备上使用。该项目包含预训练、微调、评估和合成数据管道的脚本和配置，并使用了SmolTalk数据集进行指令微调。