새로운 벤치마크, OCR 자동화의 병목 현상을 드러내다: 98% 정확도 달성

Mistral과 Andrew Ng 등 새로운 OCR 업체들이 등장하면서 기업들은 진정한 발전과 과장 광고를 구분하기 어려워졌습니다. 기존 벤치마크는 OCR 정확도와 정보 추출에 초점을 맞추었지만 자동화 수준은 무시했습니다. Nanonets는 98% 정확도의 자동화를 강조하는 새로운 벤치마크를 발표했습니다. 1000개의 이미지와 16,639개의 주석이 달린 데이터 포인트를 사용하여 사람의 개입 없이 정확하게 처리된 데이터의 비율인 신뢰도 점수를 기반으로 모델 성능을 측정합니다. LLM은 전반적인 정확도에서는 뛰어나지만 신뢰할 수 있는 신뢰도 점수는 얻을 수 없습니다. Gemini 2.0 Flash는 98%의 정확도를 달성했지만 데이터의 8%만 자동화했습니다. 이 벤치마크는 문서 처리에서 수작업을 실제로 줄일 수 있는 솔루션을 기업이 파악하는 데 도움이 됩니다.