ANEMLL: تسريع نماذج اللغة الكبيرة على محرك Apple العصبي
2025-05-03
ANEMLL هو مشروع مفتوح المصدر يركز على تسريع نماذج اللغة الكبيرة (LLMs) على معالجات التنسور، بدءًا من محرك Apple العصبي (ANE). يوفر خط أنابيب مفتوح المصدر كاملًا، من تحويل النموذج (من Hugging Face) إلى الاستدلال على ANE، مما يسمح بالاستدلال السلس على الجهاز لتطبيقات الحافة منخفضة الطاقة، مع تعظيم الخصوصية والأمان. يدعم حاليًا نماذج مثل LLaMA 3.1، ويوفر أمثلة شيفرة Swift و Python، بالإضافة إلى تطبيقات iOS/macOS. هذا إصدار تجريبي، لذا توقع تحسينات في التكميم.
التطوير
محرك Apple العصبي