SmolGPT: 작은 LLM을 훈련하기 위한 최소한의 PyTorch 구현
2025-01-29
SmolGPT는 교육 목적으로 설계된 최소한의 PyTorch 프로젝트로, 사용자는 처음부터 자신의 작은 언어 모델(LLM)을 훈련할 수 있습니다. Flash Attention, RMSNorm, SwiGLU를 포함한 최신 아키텍처와 효율적인 샘플링 기술을 갖추고 있습니다. 이 프로젝트는 완벽한 훈련 파이프라인, 사전 훈련된 모델 가중치 및 텍스트 생성 예제를 제공하여 LLM 훈련에 대한 학습과 실험을 용이하게 합니다.
개발
LLM 훈련