Notebooks Jupyter y LLMs: Una optimización de costes inesperada

El autor utilizó LLMs para asistencia en la codificación, inicialmente con una configuración ContinueDev + OpenRouter. Los costes aumentaron inesperadamente. La investigación reveló que los archivos Jupyter Notebook (.ipynb) contienen un contenido oculto significativo (salidas de código, metadatos, imágenes codificadas en base64), lo que lleva a un gran recuento de tokens y al aumento de los costes de llamada del LLM. La solución fue convertir los archivos .ipynb en archivos .py y eliminar las imágenes codificadas en base64. Esto redujo los costes en un 94% y también la latencia. La publicación destaca la importancia de una entrada consciente al usar LLMs y recomienda comprobar los costes regularmente.