ThinkMesh: الاستدلال المتوازي لأنظمة LLM

ThinkMesh هي مكتبة بايثون لتنفيذ مسارات استدلال متنوعة بالتوازي، وتقييمها باستخدام إشارات ثقة داخلية، وإعادة تخصيص الحوسبة للفروع الواعدة، ودمج النتائج باستخدام مدققين ومختزلات. تدعم المكتبة نماذج Hugging Face Transformers و vLLM/TGI غير المتصلة بالإنترنت، بالإضافة إلى واجهات برمجة التطبيقات المُدارة. تقدم ThinkMesh استراتيجيات متنوعة مثل DeepConf و Self-Consistency و Tree of Thoughts، وتتضمن ميزات مثل التخزين المؤقت، والمقاييس، و تتبع JSON لتحسين الكفاءة والموثوقية في استدلال نماذج اللغة الكبيرة.