Benchmark open-source pour l'OCR et l'extraction de données des LLM

Omni est un outil de benchmark open-source qui compare les capacités d'OCR et d'extraction de données de différents grands modèles multimodaux tels que gpt-4o, en évaluant la précision de l'extraction de texte et de JSON. Ce benchmark fournit une évaluation complète de la précision de l'OCR auprès des fournisseurs d'OCR traditionnels et des LLM. L'ensemble de données et les méthodologies sont open-source, encourageant les contributions et l'expansion. Le benchmark se concentre sur l'extraction de JSON, en mesurant la précision de l'ensemble du pipeline : Document ⇒ OCR ⇒ Extraction. Il utilise un json-diff modifié pour la précision du JSON et la distance de Levenshtein pour la similarité du texte. L'outil prend en charge plusieurs modèles, notamment OpenAI, Google Gemini et Anthropic, avec une interface simple en ligne de commande et une sortie JSON.