Executando GPT-2 na GPU com Shaders WebGL: Uma Jornada de Hacker

Este sucesso do Hacker News detalha a experiência do autor implementando o GPT-2 usando WebGL e shaders na GPU. O artigo explora as origens e a evolução da programação de GPU de propósito geral, comparando APIs gráficas tradicionais (como OpenGL) com APIs de computação (CUDA e OpenCL). O autor utiliza texturas e framebuffers como um barramento de dados, usando shaders de fragmentos como kernels de computação para realizar operações de rede neural como multiplicação de matrizes e ativação GELU. Embora reconhecendo limitações em memória compartilhada, tamanho de textura e precisão, o artigo mostra o poder e o potencial da programação de GPU e demonstra o uso inovador de técnicas de processamento gráfico para computação de propósito geral. O código está disponível no Github.