OpenArc: واجهة برمجة تطبيقات استنتاج خفيفة الوزن لتسريع نماذج اللغات الكبيرة على أجهزة Intel

OpenArc هي واجهة برمجة تطبيقات استنتاج خفيفة الوزن تستفيد من وقت تشغيل OpenVINO وبرامج تشغيل OpenCL لتسريع استنتاج نماذج Transformers على وحدات المعالجة المركزية ووحدات معالجة الرسومات ووحدات معالجة الشبكات العصبية من Intel. صُممت للاستخدامات الوكيلة، وتتميز بتطبيق FastAPI ذي كتابة قوية مع نقاط نهاية لتحميل وتفريغ النماذج، وتوليد النص، واستعلامات الحالة. تبسط OpenArc فصل رمز تعلم الآلة عن منطق التطبيق، مما يوفر سير عمل مشابهًا لـ Ollama و LM-Studio و OpenRouter. تدعم النماذج والأدوار المخصصة، مع امتدادات مُخطط لها تتضمن وكيل OpenAI، ودعم نماذج الرؤية، والمزيد.