Novo Benchmark Expõe o Gargalo de Automação em OCR: Alcançando 98% de Precisão

O influxo de novos players de OCR, como Mistral e as ofertas de Andrew Ng, dificulta para as empresas distinguirem avanços genuínos de exageros. Benchmarks existentes focam na precisão de OCR e na extração de informações, negligenciando os níveis de automação. A Nanonets introduz um novo benchmark enfatizando a automação com 98% de precisão. Usando um conjunto de dados de 1000 imagens e 16.639 pontos de dados anotados, eles medem o desempenho do modelo com base em pontuações de confiança – a proporção de dados processados com precisão sem intervenção humana. Embora os LLMs se destaquem na precisão geral, pontuações de confiança confiáveis ​​permanecem evasivas. O Gemini 2.0 Flash atingiu 98% de precisão, mas automatizou apenas 8% dos dados. Este benchmark visa ajudar as empresas a encontrar soluções que realmente reduzam o esforço manual no processamento de documentos.