QB64 搜索技巧 核手提箱 文字记录 海洋云增白 开源地图 Bliss AI 搜索答案 沙丘魔堡2 深海沉船 自由职业 policy 小团队 颈挂空调 Chumby 个人电脑 极端主义 团队 世界 PostgreSQL AI工具 证券 DirectX 防溢 DrawingPics Zulip 儿童读物 化学 连续滚动 三菱电机 更多

LlamaF：嵌入式FPGA上的高效Llama2架构加速器 (arxiv.org)

原文: [2409.11424] LlamaF: An Efficient Llama2 Architecture Accelerator on Embedded FPGAs

文章介绍了一种名为LlamaF的FPGA加速器，旨在提升大型语言模型（LLM）在嵌入式设备上的推理性能。该加速器针对TinyLlama 1.1B模型进行了优化，采用训练后量化技术减少模型大小，并优化了片外内存带宽。通过异步计算和全流水线矩阵向量乘法器设计，LlamaF在Xilinx ZCU102平台上实现了14.3-15.8倍的加速和6.1倍的能效提升。