Benchmark de código abierto para OCR y extracción de datos de LLM
Omni es una herramienta de evaluación comparativa de código abierto que compara las capacidades de OCR y extracción de datos de varios modelos multimodales grandes como gpt-4o, evaluando la precisión de la extracción de texto y JSON. Este benchmark proporciona una evaluación exhaustiva de la precisión del OCR en proveedores tradicionales de OCR y LLM. El conjunto de datos y las metodologías son de código abierto, lo que fomenta las contribuciones y la expansión. El benchmark se centra en la extracción de JSON, midiendo la precisión de toda la canalización: Documento ⇒ OCR ⇒ Extracción. Utiliza un json-diff modificado para la precisión de JSON y la distancia de Levenshtein para la similitud de texto. La herramienta admite varios modelos, incluidos OpenAI, Google Gemini y Anthropic, con una interfaz simple de línea de comandos y salida JSON.
Leer más