Ejecutando GPT-2 en la GPU con Shaders WebGL: Un Viaje de Hacker

Este éxito de Hacker News detalla la experiencia del autor implementando GPT-2 usando WebGL y shaders en la GPU. El artículo explora los orígenes y la evolución de la programación de GPU de propósito general, comparando las API gráficas tradicionales (como OpenGL) con las API de computación (CUDA y OpenCL). El autor aprovecha texturas y framebuffers como un bus de datos, usando shaders de fragmentos como kernels de computación para realizar operaciones de red neuronal como la multiplicación de matrices y la activación GELU. Si bien reconoce las limitaciones en memoria compartida, tamaño de textura y precisión, el artículo muestra el poder y el potencial de la programación de GPU y demuestra el uso innovador de técnicas de procesamiento gráfico para la computación de propósito general. El código está disponible en Github.