QB64 搜索技巧 核手提箱 文字记录 海洋云增白 开源地图 Bliss AI 搜索答案 深海沉船 自由职业 policy 小团队 颈挂空调 Chumby 个人电脑 极端主义 团队 世界 PostgreSQL AI工具 证券 DirectX 防溢 DrawingPics Zulip 儿童读物 化学 连续滚动 代码审查 三菱电机 更多

用于高效推理大型语言模型的层压缩KV缓存 (arxiv.org)

原文: [2405.10637] Layer-Condensed KV Cache for Efficient Inference of Large Language Models

大型语言模型在实际应用部署中，面临着巨大的内存消耗瓶颈，其中，Transformer架构中注意力机制的键值（KV）缓存消耗了大量内存。本文提出一种新型层压缩KV缓存方法，仅计算和缓存少量层的KV，显著节省内存消耗并提升推理吞吐量。实验证明，该方法在大型语言模型上实现了高达26倍的吞吐量提升，并在语言建模和下游任务中取得了具有竞争力的性能。