Démo d'inférence GPT-2 dans le navigateur avec WebGL2
2025-05-02
Ce projet impressionnant apporte la passe en avant complète du modèle GPT-2 small (117M de paramètres) au navigateur à l'aide de WebGL2. En tirant parti des shaders WebGL2 pour le calcul sur GPU et de js-tiktoken pour la tokenisation BPE (pas besoin de WASM), il exécute GPT-2 directement dans le navigateur. Un script Python télécharge les poids pré-entraînés, et le front-end est construit avec Vite pour le remplacement de modules à chaud. C'est un excellent exemple de l'apport de modèles d'IA avancés au navigateur, montrant les capacités de pointe des technologies web.
IA