Deep Code Bench: Un nuevo conjunto de datos de referencia para la recuperación de código

Qodo ha lanzado Deep Code Bench, un nuevo conjunto de datos de referencia de preguntas del mundo real derivadas de grandes repositorios de código complejos. A diferencia de los benchmarks existentes, estas preguntas requieren la recuperación de varios archivos, lo que refleja escenarios reales de los desarrolladores. El conjunto de datos, generado utilizando LLMs a partir de datos de solicitud de extracción, proporciona una evaluación sólida de los sistemas de recuperación de código. El agente de investigación profunda de Qodo supera a los demás en la recuperación de hechos, logrando aproximadamente un 76% de precisión.