AI 추론 비용: 생각보다 저렴할 수 있다
2025-08-28
이 글은 AI 추론 비용이 과도하게 높고 지속 불가능하다는 주장에 이의를 제기합니다. H100 GPU를 사용한 AI 추론 비용을 계산함으로써 저자는 입력 처리 비용은 놀라울 정도로 낮은 반면(100만 토큰당 몇 센트), 출력 생성 비용은 매우 높다는 것을 보여줍니다(100만 토큰당 몇 달러). 이러한 비용 불균형은 코딩 어시스턴트와 같은 애플리케이션의 수익성과 비디오 생성과 같은 애플리케이션의 높은 비용을 설명합니다. 저자는 이러한 비용 불균형이 종종 간과되어 AI 추론 비용을 과대평가하고 기존 업체에 이익을 가져다주며 경쟁과 혁신을 저해할 수 있다고 주장합니다.