Exécuter GPT-2 sur le GPU avec les shaders WebGL : le périple d'un hacker

Ce succès sur Hacker News détaille l'expérience de l'auteur lors de l'implémentation de GPT-2 à l'aide de WebGL et de shaders sur le GPU. L'article explore les origines et l'évolution de la programmation GPU à usage général, comparant les API graphiques traditionnelles (comme OpenGL) aux API de calcul (CUDA et OpenCL). L'auteur utilise intelligemment les textures et les framebuffers comme bus de données, employant les shaders de fragments comme noyaux de calcul pour effectuer des opérations de réseau neuronal telles que la multiplication matricielle et l'activation GELU. Tout en reconnaissant les limitations en matière de mémoire partagée, de taille de texture et de précision, l'article met en lumière la puissance et le potentiel de la programmation GPU et démontre une utilisation innovante des techniques de traitement graphique pour le calcul à usage général. Le code est disponible sur Github.