Jupyter Notebooks und LLMs: Eine unerwartete Kostenoptimierung

Der Autor nutzte LLMs zur Unterstützung beim Programmieren, zunächst mit einer ContinueDev + OpenRouter-Konfiguration. Die Kosten stiegen unerwartet stark an. Untersuchungen ergaben, dass Jupyter Notebook-Dateien (.ipynb) erhebliche versteckte Inhalte (Code-Ausgaben, Metadaten, base64-codierte Bilder) enthalten, was zu einer hohen Anzahl von Tokens und erhöhten LLM-Aufrufkosten führte. Die Lösung bestand darin, .ipynb-Dateien in .py-Dateien umzuwandeln und base64-codierte Bilder zu entfernen. Dies reduzierte die Kosten um 94% und auch die Latenz. Der Beitrag hebt die Bedeutung achtsamer Eingaben bei der Verwendung von LLMs hervor und empfiehlt regelmäßige Kostenkontrollen.