ANEMLL: Apple 뉴럴 엔진에서 LLM 가속화

ANEMLL은 Apple 뉴럴 엔진(ANE)부터 시작하는 텐서 프로세서에서 대규모 언어 모델(LLM)을 가속화하는 데 중점을 둔 오픈 소스 프로젝트입니다. Hugging Face에서 모델 변환부터 ANE에서의 추론까지 완벽한 오픈 소스 파이프라인을 제공하여 저전력 에지 애플리케이션에서 원활한 온디바이스 추론을 가능하게 하고 개인 정보 보호 및 보안을 극대화합니다. 현재 LLaMA 3.1과 같은 모델을 지원하며 Swift 및 Python 샘플 코드와 iOS/macOS 애플리케이션을 제공합니다. 알파 릴리스이므로 양자화 개선이 예상됩니다.