Notebooks Jupyter e LLMs: Uma otimização de custos inesperada
2025-01-21
O autor usou LLMs para assistência de codificação, inicialmente com uma configuração ContinueDev + OpenRouter. Os custos aumentaram inesperadamente. A investigação revelou que arquivos Jupyter Notebook (.ipynb) contêm conteúdo oculto significativo (saídas de código, metadados, imagens codificadas em base64), levando a uma grande contagem de tokens e aumento dos custos de chamada do LLM. A solução foi converter arquivos .ipynb em arquivos .py e remover imagens codificadas em base64. Isso reduziu os custos em 94% e também a latência. A postagem destaca a importância de uma entrada consciente ao usar LLMs e recomenda verificar os custos regularmente.
Desenvolvimento
Otimização de Custos