Benchmark de código aberto para OCR e extração de dados de LLMs

Omni é uma ferramenta de benchmarking de código aberto que compara as capacidades de OCR e extração de dados de vários modelos multimodais grandes, como o gpt-4o, avaliando a precisão da extração de texto e JSON. Este benchmark fornece uma avaliação abrangente da precisão do OCR em provedores tradicionais de OCR e LLMs. O conjunto de dados e as metodologias são de código aberto, incentivando contribuições e expansão. O benchmark concentra-se na extração de JSON, medindo a precisão de todo o pipeline: Documento ⇒ OCR ⇒ Extração. Ele usa um json-diff modificado para precisão de JSON e distância de Levenshtein para similaridade de texto. A ferramenta suporta vários modelos, incluindo OpenAI, Google Gemini e Anthropic, com uma interface simples de linha de comando e saída JSON.