Jupyter NotebookとLLM：予期せぬコスト最適化

著者は、LLMをコーディング支援に使用していました。最初はContinueDev + OpenRouterのセットアップを使用していましたが、コストが突然急増しました。調査の結果、Jupyter Notebook（.ipynb）ファイルには、多くの隠れたコンテンツ（コード出力、メタデータ、base64でエンコードされた画像など）が含まれており、トークンの数が大幅に増加し、LLMの呼び出しコストが高くなっていることが分かりました。解決策は、.ipynbファイルを.pyファイルに変換し、base64でエンコードされた画像を削除することでした。これにより、コストを94％削減し、レイテンシも削減できました。この記事では、LLMを使用する際の注意深い入力の重要性を強調し、コストの定期的な確認を推奨しています。