LLM의 복잡한 OCR 실패: 대규모 언어 모델이 PDF에서 어려움을 겪는 이유

스프레드시트와 PDF에서 데이터 추출을 목표로 하는 Pulse사는 OCR에 대규모 언어 모델(LLM)을 사용하는 데 있어 중대한 한계를 발견했습니다. LLM은 텍스트 생성과 요약에는 뛰어나지만, 복잡한 PDF와 표를 처리할 때는 성능이 현저히 저하됩니다. LLM의 확률적 특성과 추상적인 이미지 처리로 인해 환각, 데이터 손실, 오류 해석 등의 문제가 발생하며, 특히 금융 및 의료 데이터에서는 큰 위험이 됩니다. 또한 LLM은 프롬프트 주입 공격에도 취약하여 보안 및 윤리적 우려가 제기됩니다. Pulse사는 결국 OCR에 대한 LLM 사용을 포기하고 기존 컴퓨터 비전 알고리즘과 비전 트랜스포머를 통합한 맞춤형 솔루션을 개발 중입니다.