즉시 PyTorch 학습: VRAM 언로드 없이 LLM 핫스왑

2025-04-21
즉시 PyTorch 학습: VRAM 언로드 없이 LLM 핫스왑

대규모 언어 모델 로딩 시간은 개발 속도를 크게 늦출 수 있습니다. 이 프로젝트는 PyTorch 학습 코드의 핫스왑 솔루션을 소개합니다. 백그라운드 프로세스를 사용하여 모델을 VRAM에 상주시킴으로써 거의 즉각적인 시작을 달성합니다. 스크립트가 종료된 후에도 모델은 로드된 상태로 유지되므로 다음 실행에서 즉시 사용할 수 있습니다. 원격 디버깅과 Dear ImGui UI 통합도 지원되어 개발 효율성이 향상됩니다. `from_pretrained` 호출을 바꾸기만 하면 즉각적인 실행과 쉬운 디버깅을 경험할 수 있습니다.

개발 핫스왑