Clon de ChatGPT en 3000 bytes de C

El desarrollador Nicholas Carlini creó un clon de ChatGPT usando solo 3000 bytes de código C, impulsado por el modelo GPT-2. Esta implementación sin dependencias carga la matriz de pesos y el archivo BPE de GPT-2, luego realiza la tokenización, las operaciones de matriz, la inferencia del transformador y la destokenización. Si bien la calidad de la salida no es alta, su eficiencia es notable, produciendo varias respuestas por segundo en hardware moderno. Esto demuestra el potencial del código compacto en la implementación de modelos de IA complejos.