Deep Code Bench: Um Novo Conjunto de Dados de Benchmark para Recuperação de Código

A Qodo lançou o Deep Code Bench, um novo conjunto de dados de benchmark de perguntas do mundo real derivadas de grandes repositórios de código complexos. Ao contrário dos benchmarks existentes, essas perguntas exigem recuperação em vários arquivos, refletindo cenários reais de desenvolvedores. O conjunto de dados, gerado usando LLMs a partir de dados de solicitação de pull, fornece uma avaliação robusta de sistemas de recuperação de código. O agente de pesquisa profunda da Qodo supera os outros em recall de fatos, alcançando aproximadamente 76% de precisão.