Jupyter Notebook 与大型语言模型:成本控制的意外收获

2025-01-21

作者使用大型语言模型辅助编码,起初使用ContinueDev + OpenRouter的方案很有效,但成本突然飙升。经排查发现,Jupyter Notebook(.ipynb) 文件包含大量隐含内容(代码输出、元数据、Base64 编码的图像等),导致token数量剧增,从而增加了LLM调用成本。解决方案是将.ipynb文件转换为.py文件,并移除Base64编码的图像。此方法使成本降低了94%,延迟也相应减少。这篇文章强调了在使用LLM时注意输入内容的重要性,并建议定期检查成本。

开发