معايير قياس استرجاع التعليمات البرمجية: التحديات ونهج Voyage AI
تعتمد أدوات المساعدة في البرمجة الحديثة بشكل كبير على استرجاع التعليمات البرمجية، لكن طرق التقييم الحالية غير كافية. تسلط أبحاث Voyage AI الضوء على مشاكل في مجموعات البيانات الحالية، بما في ذلك الملصقات الضوضاء، وعدم وجود تقييم للتفكير الخوارزمي العميق، وتلوث البيانات، مما يؤدي إلى تقييمات نماذج غير موثوقة. لمعالجة ذلك، تقترح Voyage AI طريقتين لإنشاء مجموعات بيانات استرجاع التعليمات البرمجية عالية الجودة: إعادة استخدام مجموعات بيانات الأسئلة والأجوبة، والاستفادة من مستودعات GitHub والمشاكل/التذاكر. كما قامت Voyage AI ببناء مجموعة اختبارات المعايير الداخلية الخاصة بها، والتي تشمل العديد من لغات البرمجة، ومجموعات بيانات متنوعة من الأسئلة والأجوبة، ومعايير قياس محددة للمنطقة، وتقييم العديد من نماذج تضمين التعليمات البرمجية. برز نموذج Voyage-code-3 كأفضل نموذج أداءً.