스크래치부터 시작하는 대규모 언어 모델: 자기 주의 메커니즘 심층 분석
2025-03-05
이 블로그 게시물은 저자가 Sebastian Raschka의 "스크래치부터 시작하는 대규모 언어 모델"을 학습하는 과정을 기록한 시리즈의 여덟 번째 글로, 훈련 가능한 가중치를 사용한 자기 주의 메커니즘 구현에 초점을 맞추고 있습니다. 먼저 GPT 스타일의 디코더 전용 트랜스포머 LLM에 관련된 단계들을 검토하는데, 여기에는 토큰과 위치 임베딩, 자기 주의 메커니즘, 주의 점수 정규화, 컨텍스트 벡터 생성 등이 포함됩니다. 게시물의 핵심은 스케일링된 도트 곱 주의 메커니즘으로, 훈련 가능한 가중치 행렬이 입력 임베딩을 다른 공간(쿼리, 키, 값)에 어떻게 투영하는지 설명합니다. 효율적인 계산을 위해 행렬 곱셈이 활용됩니다. 저자는 이 프로세스에 대한 명확하고 기계적인 설명을 제공하며, 인과적 자기 주의 메커니즘과 다중 헤드 주의 메커니즘과 같은 향후 주제에 대한 미리보기로 마무리합니다.
AI
자기 주의 메커니즘