دفاتر Jupyter و نماذج اللغات الكبيرة: تحسين غير متوقع للتكلفة

استخدم الكاتب نماذج اللغات الكبيرة لمساعدة الترميز، في البداية باستخدام إعداد ContinueDev + OpenRouter. ارتفعت التكاليف بشكل غير متوقع. كشف التحقيق أن ملفات Jupyter Notebook (.ipynb) تحتوي على محتوى مخفي كبير (مخرجات التعليمات البرمجية، والبيانات الوصفية، والصور المشفرة بـ base64)، مما أدى إلى زيادة كبيرة في عدد الرموز وزيادة تكاليف استدعاء LLM. كان الحل هو تحويل ملفات .ipynb إلى ملفات .py وإزالة الصور المشفرة بـ base64. أدى ذلك إلى خفض التكاليف بنسبة 94% وكذلك زمن الوصول. تسلط هذه التدوينة الضوء على أهمية الإدخال المدروس عند استخدام LLMs وتوصي بالتحقق من التكاليف بانتظام.