WebGL2을 사용한 브라우저 기반 GPT-2 추론 데모

인상적인 이 프로젝트는 WebGL2를 사용하여 GPT-2 소형 모델(1억 1700만 매개변수)의 완전한 순방향 전달 과정을 브라우저로 가져옵니다. GPU 계산에 WebGL2 셰이더를 활용하고 BPE 토큰화에 js-tiktoken을 사용하여(WASM 불필요) 브라우저에서 직접 GPT-2를 실행합니다. Python 스크립트로 사전 훈련된 가중치를 다운로드하고, 프런트엔드는 Vite로 빌드되어 핫 모듈 교체를 지원합니다. 이는 첨단 AI 모델을 브라우저로 가져오는 훌륭한 사례이며, 웹 기술의 최첨단 기능을 보여줍니다.