Mistralの新しいOCRモデルが期待外れ、Google Gemini 2.0がリード

最近のテストで、Mistralが新しくリリースしたOCR専用モデルが、宣伝文句に反して性能が低いことが明らかになりました。開発者のWillisとDoriaは、複雑なレイアウトや手書き文字の処理において、都市名の繰り返し、数値の誤り、そして幻覚などの問題点を指摘しています。対照的に、GoogleのGemini 2.0 Flash Pro Experimentalは優れた性能を示し、Mistralでは処理できない複雑なPDFファイル、手書き文字を含むファイルも処理できます。大きなコンテキストウィンドウも大きな強みです。LLMベースのOCRは有望ですが、情報の捏造、指示の誤解、データの一般的な誤解釈などの問題を抱えています。