LLMによる複雑なOCRの失敗：大規模言語モデルがPDFで苦戦する理由

スプレッドシートやPDFからデータ抽出を目指しているPulse社は、OCRに大規模言語モデル（LLM）を用いる際の重大な限界を発見しました。LLMはテキスト生成や要約には優れていますが、複雑なPDFや表を扱うと著しく性能が低下します。LLMの確率的な性質と抽象的な画像処理により、幻覚、データ消失、誤解釈といった問題が発生し、特に金融や医療データでは大きなリスクとなります。さらに、LLMはプロンプトインジェクション攻撃にも脆弱であり、セキュリティと倫理的な懸念が生じます。Pulse社は最終的にOCRへのLLMの使用を断念し、従来のコンピュータビジョンアルゴリズムとビジョン・トランスフォーマーを統合したカスタムソリューションを開発中です。