ANEMLL：将大型语言模型加速到苹果神经引擎

ANEMLL是一个开源项目，致力于将大型语言模型（LLM）加速到张量处理器上，首先是苹果神经引擎（ANE）。它提供了一个完整的开源流水线，用于将模型从Hugging Face转换到ANE上的推理。这使得在边缘设备上进行低功耗应用的无缝集成和设备端推理成为可能，确保最大限度的隐私和安全性。目前支持LLaMA 3.1等模型，并提供Swift和Python示例代码以及iOS/macOS应用。