新しいベンチマークがOCRにおける自動化のボトルネックを明らかに：98％の精度を実現

MistralやAndrew Ngなどの新たなOCRプレイヤーの参入により、企業は真の進歩と誇大宣伝を見分けるのが難しくなっています。既存のベンチマークはOCRの精度と情報抽出に焦点を当てていますが、自動化レベルは無視されています。Nanonetsは、98％の精度での自動化を重視した新しいベンチマークを発表しました。1000枚の画像と16,639個の注釈付きデータポイントを使用し、人間の介入なしで正確に処理されたデータの割合である信頼度スコアに基づいてモデルのパフォーマンスを測定します。LLMは全体的な精度では優れていますが、信頼性の高い信頼度スコアは得られません。Gemini 2.0 Flashは98％の精度を達成しましたが、データの8％しか自動化できませんでした。このベンチマークは、ドキュメント処理における手作業を真に削減できるソリューションを企業が特定するのに役立ちます。