Nuevo Benchmark Expone el Cuello de Botella de la Automatización en OCR: Alcanzando el 98% de Precisión

La afluencia de nuevos actores de OCR como Mistral y las ofertas de Andrew Ng dificultan que las empresas distingan los avances genuinos de la exageración. Los benchmarks existentes se centran en la precisión de OCR y la extracción de información, descuidando los niveles de automatización. Nanonets introduce un nuevo benchmark que enfatiza la automatización con un 98% de precisión. Usando un conjunto de datos de 1000 imágenes y 16.639 puntos de datos anotados, miden el rendimiento del modelo en función de las puntuaciones de confianza: la proporción de datos procesados con precisión sin intervención humana. Si bien los LLM sobresalen en la precisión general, las puntuaciones de confianza fiables siguen siendo esquivas. Gemini 2.0 Flash logró un 98% de precisión, pero solo automatizó el 8% de los datos. Este benchmark tiene como objetivo ayudar a las empresas a encontrar soluciones que realmente reduzcan el esfuerzo manual en el procesamiento de documentos.