앤드류 응의 새로운 문서 추출 서비스: 정확도 문제

2025-02-28
앤드류 응의 새로운 문서 추출 서비스: 정확도 문제

앤드류 응이 새롭게 출시한 문서 추출 서비스가 X에서 큰 화제가 되었지만, Pulse사의 테스트 결과 복잡한 재무 제표 처리에서 심각한 문제점이 발견되었습니다. 50% 이상의 환각 값, 음수 부호 및 통화 기호 누락 등이 그 예입니다. 이 글에서는 금융 등 정확한 데이터에 의존하는 산업에서 이러한 오류는 치명적인 결과를 초래할 수 있다고 주장합니다. Pulse사의 솔루션은 기존 컴퓨터 비전 알고리즘과 독점적인 표 변환 모델을 결합하여 높은 정확도와 낮은 지연 시간을 달성하여 LLM 모델의 비결정적 특성, 공간 인식 부족, 처리 속도 저하 등의 문제를 해결했습니다.

더 보기

LLM의 복잡한 OCR 실패: 대규모 언어 모델이 PDF에서 어려움을 겪는 이유

2025-02-07
LLM의 복잡한 OCR 실패: 대규모 언어 모델이 PDF에서 어려움을 겪는 이유

스프레드시트와 PDF에서 데이터 추출을 목표로 하는 Pulse사는 OCR에 대규모 언어 모델(LLM)을 사용하는 데 있어 중대한 한계를 발견했습니다. LLM은 텍스트 생성과 요약에는 뛰어나지만, 복잡한 PDF와 표를 처리할 때는 성능이 현저히 저하됩니다. LLM의 확률적 특성과 추상적인 이미지 처리로 인해 환각, 데이터 손실, 오류 해석 등의 문제가 발생하며, 특히 금융 및 의료 데이터에서는 큰 위험이 됩니다. 또한 LLM은 프롬프트 주입 공격에도 취약하여 보안 및 윤리적 우려가 제기됩니다. Pulse사는 결국 OCR에 대한 LLM 사용을 포기하고 기존 컴퓨터 비전 알고리즘과 비전 트랜스포머를 통합한 맞춤형 솔루션을 개발 중입니다.

더 보기