QB64 搜索技巧 核手提箱 文字记录 海洋云增白 开源地图 Bliss AI 搜索答案 深海沉船 自由职业 policy 小团队 颈挂空调 Chumby 个人电脑 极端主义 团队 世界 PostgreSQL AI工具 证券 DirectX 防溢 DrawingPics Zulip 儿童读物 化学 连续滚动 代码审查 三菱电机 更多

1 位 LLM 可以解决人工智能的能源需求 (spectrum.ieee.org)

原文: 1-bit LLMs Could Solve AI’s Energy Demands - IEEE Spectrum

大型语言模型（LLM）虽然功能越来越强大，但体积和能耗也在不断增加。为解决这个问题，研究人员正在探索将存储在 LLM 中的大量高精度数字简化为 1 或 -1 的方法，即 1 位 LLM。目前主要有两种方法：训练后量化（PTQ）和量化感知训练（QAT）。PTQ 将已训练模型的参数量化，而 QAT 从一开始就以低精度参数训练模型。研究表明，1 位 LLM 在性能接近全精度模型的同时，能耗更低，速度更快，有望运行在手机等设备上。