Notebooks Jupyter et LLMs : Une optimisation inattendue des coûts
2025-01-21
L'auteur a utilisé des LLMs pour l'assistance au codage, initialement avec une configuration ContinueDev + OpenRouter. Les coûts ont augmenté de manière inattendue. L'enquête a révélé que les fichiers Jupyter Notebook (.ipynb) contiennent un contenu caché important (sorties de code, métadonnées, images codées en base64), ce qui entraîne un nombre important de jetons et une augmentation des coûts d'appel du LLM. La solution a consisté à convertir les fichiers .ipynb en fichiers .py et à supprimer les images codées en base64. Cela a réduit les coûts de 94% et également la latence. L'article souligne l'importance d'une entrée consciente lors de l'utilisation de LLMs et recommande de vérifier régulièrement les coûts.
Développement
Optimisation des Coûts