Entrenamiento PyTorch instantáneo: Intercambio en caliente de LLMs sin descargar VRAM
2025-04-21
Los tiempos de carga de los modelos de lenguaje grandes pueden ralentizar significativamente el desarrollo. Este proyecto presenta una solución de intercambio en caliente para el código de entrenamiento de PyTorch. Al mantener el modelo residente en la VRAM mediante un proceso en segundo plano, se logra un inicio casi instantáneo. Incluso después de que finaliza el script, el modelo permanece cargado, listo para su uso inmediato en la siguiente ejecución. Se admite la depuración remota y la integración de la IU Dear ImGui, lo que aumenta la eficiencia del desarrollador. Simplemente reemplace sus llamadas `from_pretrained` para experimentar una ejecución instantánea y una depuración fácil.
Desarrollo
Intercambio en Caliente