搜索技巧 海洋云增白 开源地图 AI 搜索答案 沙丘魔堡2 压缩机站 自由职业 policy 小团队 颈挂空调 Chumby 个人电脑 极端主义 团队 PostgreSQL AI工具 证券 DirectX DrawingPics 化学 KDE 披萨农场 多动症 植物学 分析化学 Three.js 大会 残疾人学校 初创 QB64 更多

1 位 LLM 可以解决人工智能的能源需求 (spectrum.ieee.org)

原文: 1-bit LLMs Could Solve AI’s Energy Demands - IEEE Spectrum

大型语言模型（LLM）虽然功能越来越强大，但体积和能耗也在不断增加。为解决这个问题，研究人员正在探索将存储在 LLM 中的大量高精度数字简化为 1 或 -1 的方法，即 1 位 LLM。目前主要有两种方法：训练后量化（PTQ）和量化感知训练（QAT）。PTQ 将已训练模型的参数量化，而 QAT 从一开始就以低精度参数训练模型。研究表明，1 位 LLM 在性能接近全精度模型的同时，能耗更低，速度更快，有望运行在手机等设备上。