AMD GPU推理 (github.com)

该项目提供了一个基于Docker的推理引擎，用于在AMD GPU上运行大型语言模型（LLM）。它旨在与Hugging Face的模型一起工作，重点是LLaMA模型系列。该项目包含一个Aptfile，其中列出了要在Docker容器中安装的必要ROCm软件包。用户可以使用Hugging Face上可用的任何模型，方法是在运行容器时指定其存储库名称。