革命性技术:内存成本降低高达75%!
2024-12-17
日本初创公司Sakana AI研发了一种名为“通用Transformer内存”的新技术,通过特殊的“神经注意力记忆模块”(NAMM),可有效优化大型语言模型(LLM)的内存使用。NAMM像一位精明的编辑,能识别并剔除冗余信息,保留关键内容,从而将LLM的内存成本降低高达75%,同时提升性能。该技术适用于多种模型和任务,为企业应用LLM带来了巨大的成本和效率优势。
AI