WebGL2を用いたブラウザ上でのGPT-2推論デモ

この印象的なプロジェクトは、GPT-2スモールモデル（1億1700万パラメータ）の完全な順伝播をWebGL2を使ってブラウザに実装しています。GPU計算にWebGL2シェーダー、BPEトークナイゼーションにjs-tiktokenを使用し（WASMは不要）、ブラウザ上で直接GPT-2を実行します。Pythonスクリプトで事前学習済み重みをダウンロードし、フロントエンドはViteで構築されており、ホットモジュールリプレイスメントをサポートしています。これは、高度なAIモデルをブラウザにもたらす素晴らしい例であり、ウェブ技術の最先端能力を示しています。