OmniAI OCR Benchmark: LLMs vs. traditionelles OCR

OmniAI hat einen Open-Source-OCR-Benchmark veröffentlicht, der die Genauigkeit, die Kosten und die Latenz von traditionellen OCR-Anbietern und Vision Language Models (VLMs) vergleicht. Getestet wurden 1.000 reale Dokumente. Die Ergebnisse zeigen, dass VLMs wie Gemini 2.0 die meisten traditionellen OCR-Anbieter bei Dokumenten mit Diagrammen, Handschrift und komplexen Eingabefeldern übertreffen, während traditionelle Modelle bei hochdichten Textseiten besser abschneiden. VLMs sind jedoch teurer und langsamer. Dieser fortlaufende Benchmark wird regelmäßig mit neuen Datensätzen aktualisiert, um Fairness und Repräsentativität zu gewährleisten.