ANEMLL：AppleのNeural EngineでのLLM高速化

ANEMLLは、AppleのNeural Engine（ANE）から始まるテンソルプロセッサへの大規模言語モデル（LLM）の高速化に焦点を当てたオープンソースプロジェクトです。Hugging Faceからのモデル変換からANEでの推論まで、完全なオープンソースパイプラインを提供し、低電力エッジアプリケーションでのシームレスなオンデバイス推論を可能にし、プライバシーとセキュリティを最大化します。現在、LLaMA 3.1などのモデルをサポートしており、SwiftとPythonのサンプルコード、iOS/macOSアプリケーションを提供しています。これはアルファリリースであるため、量子化の改善が期待されます。