LLM OCR 및 데이터 추출을 위한 오픈소스 벤치마크

Omni는 gpt-4o와 같은 다양한 대규모 다중 모달 모델의 OCR 및 데이터 추출 기능을 비교하는 오픈소스 벤치마킹 도구입니다. 텍스트 및 JSON 추출 정확도를 평가합니다. 이 벤치마크는 기존 OCR 제공업체와 LLM 전반의 OCR 정확도에 대한 포괄적인 평가를 제공합니다. 데이터 세트와 방법론은 오픈소스이며 기여와 확장을 장려합니다. 벤치마크는 JSON 추출에 중점을 두고 Document ⇒ OCR ⇒ Extraction 전체 파이프라인의 정확도를 측정합니다. JSON 정확도에는 수정된 json-diff를 사용하고 텍스트 유사성에는 Levenshtein 거리를 사용합니다. OpenAI, Google Gemini, Anthropic 등 다양한 모델을 지원하며 간단한 명령줄 인터페이스와 JSON 출력을 제공합니다.