Llama 3 제로부터 구현: TensorFlow를 이용한 자세한 튜토리얼

이 프로젝트는 naklecha/llama3-from-scratch의 개선 버전으로, Llama 3 모델의 구현 원리와 자세한 추론 과정을 이해하고 습득하는 데 도움이 되도록 포괄적으로 개선 및 최적화되었습니다. 주요 개선 사항으로는 콘텐츠 제시 순서 재구성, 디렉토리 구조 조정, 자세한 코드 주석, 행렬 차원 변화에 대한 완전한 주석, 풍부한 원리 설명과 자세한 유도, KV-Cache 유도에 대한 장 추가, 그리고 중국어와 영어의 이중 언어 문서가 있습니다. 이 튜토리얼은 모델 파일과 설정 파일 로드부터 시작하여 텍스트를 임베딩으로 변환하는 과정, Transformer 블록 구축, 어텐션 메커니즘 구현, 위치 인코딩(RoPE), RMS 정규화, SwiGLU 피드포워드 네트워크 등을 단계적으로 설명하고, 최종적으로 다음 토큰을 예측합니다. 또한, 상위 k 예측, 서로 다른 토큰 임베딩의 영향, 그리고 KV 캐시 메커니즘의 원리와 장점에 대해서도 탐구합니다.