QB64 搜索技巧 核手提箱 文字记录 海洋云增白 开源地图 Bliss AI 搜索答案 深海沉船 自由职业 policy 小团队 颈挂空调 Chumby 个人电脑 极端主义 团队 世界 PostgreSQL AI工具 证券 DirectX 防溢 DrawingPics Zulip 儿童读物 化学 连续滚动 代码审查 三菱电机 更多

MobileLLM：面向设备端应用的十亿级参数以下语言模型优化 (github.com)

原文: GitHub - facebookresearch/MobileLLM: MobileLLM Optimizing Sub-billion Parameter Language Models for On-Device Use Cases. In ICML 2024.

MobileLLM 是一种针对设备端应用优化的子十亿级参数语言模型，该模型在 ICML 2024 上发表的一篇论文中进行了介绍。该模型采用 SwiGLU 激活函数、深而窄的架构、嵌入共享和分组查询注意力机制等多种设计因素，以构建高质量的小型语言模型。MobileLLM-125M/350M 在零样本常识推理任务上比之前的 125M/350M SoTA 模型实现了 2.7%/4.3% 的显著准确率提升。