Open-Source-Benchmark für OCR und Datenextraktion von LLMs

Omni ist ein Open-Source-Benchmarking-Tool, das die OCR- und Datenextraktionsfähigkeiten verschiedener großer multimodaler Modelle wie gpt-4o vergleicht und dabei die Genauigkeit der Text- und JSON-Extraktion bewertet. Dieser Benchmark bietet eine umfassende Bewertung der OCR-Genauigkeit bei traditionellen OCR-Anbietern und LLMs. Der Datensatz und die Methoden sind Open Source, was Beiträge und Erweiterungen fördert. Der Benchmark konzentriert sich auf die JSON-Extraktion und misst die Genauigkeit der gesamten Pipeline: Dokument ⇒ OCR ⇒ Extraktion. Er verwendet eine modifizierte json-diff für die JSON-Genauigkeit und die Levenshtein-Distanz für die Textähnlichkeit. Das Tool unterstützt verschiedene Modelle, darunter OpenAI, Google Gemini und Anthropic, mit einer einfachen Befehlszeilenschnittstelle und JSON-Ausgabe.