3000バイトのC言語によるChatGPTクローン
2024-12-12
開発者Nicholas Carliniは、GPT-2モデルをベースとしたChatGPTクローンをわずか3000バイトのC言語コードで作成しました。この依存ライブラリ不要のインプリメンテーションは、GPT-2の重み行列とBPEファイルを読み込み、トークナイゼーション、行列演算、トランスフォーマー推論、デトクナイゼーションを実行します。出力の品質は高くありませんが、その効率性は注目に値し、最新のハードウェアでは1秒間に複数の応答を生成します。これは、複雑なAIモデルを実装する際のコンパクトなコードの可能性を示しています。
AI
C言語