Treinamento PyTorch Instantâneo: Troca a Quente de LLMs sem Descarregar VRAM

2025-04-21
Treinamento PyTorch Instantâneo: Troca a Quente de LLMs sem Descarregar VRAM

Os tempos de carregamento de modelos de linguagem grandes podem diminuir significativamente o desenvolvimento. Este projeto apresenta uma solução de troca a quente para o código de treinamento do PyTorch. Ao manter o modelo residente na VRAM por meio de um processo em segundo plano, ele alcança uma inicialização quase instantânea. Mesmo após a saída do script, o modelo permanece carregado, pronto para uso imediato na próxima execução. Depuração remota e integração da IU Dear ImGui são suportadas, aumentando a eficiência do desenvolvedor. Basta substituir suas chamadas `from_pretrained` para experimentar execução instantânea e depuração fácil.

Desenvolvimento Troca a Quente