Jupyter Notebook과 LLM: 예상치 못한 비용 최적화

저자는 LLM을 코딩 지원에 사용했습니다. 처음에는 ContinueDev + OpenRouter 설정을 사용했지만 비용이 갑자기 급증했습니다. 조사 결과, Jupyter Notebook(.ipynb) 파일에는 많은 숨겨진 콘텐츠(코드 출력, 메타데이터, base64로 인코딩된 이미지 등)가 포함되어 있어 토큰 수가 크게 증가하고 LLM 호출 비용이 높아지는 것으로 나타났습니다. 해결책은 .ipynb 파일을 .py 파일로 변환하고 base64로 인코딩된 이미지를 제거하는 것이었습니다. 이를 통해 비용을 94% 절감하고 지연 시간도 단축했습니다. 이 글에서는 LLM을 사용할 때 주의 깊은 입력의 중요성을 강조하고 비용을 정기적으로 확인할 것을 권장합니다.