Entraînement PyTorch instantané : échange à chaud des LLMs sans déchargement de la VRAM

Les temps de chargement des grands modèles linguistiques peuvent ralentir considérablement le développement. Ce projet présente une solution d’échange à chaud pour le code d’entraînement PyTorch. En maintenant le modèle résident dans la VRAM via un processus d’arrière-plan, il permet un démarrage quasi instantané. Même après la sortie du script, le modèle reste chargé, prêt pour une utilisation immédiate lors de la prochaine exécution. Le débogage à distance et l’intégration de l’interface utilisateur Dear ImGui sont pris en charge, ce qui augmente l’efficacité du développeur. Il suffit de remplacer vos appels `from_pretrained` pour découvrir une exécution instantanée et un débogage facile.