Un clone de ChatGPT en 3000 octets de C

Le développeur Nicholas Carlini a créé un clone de ChatGPT utilisant seulement 3000 octets de code C, basé sur le modèle GPT-2. Cette implémentation sans dépendances charge la matrice de poids et le fichier BPE de GPT-2, puis effectue la tokenisation, les opérations matricielles, l'inférence du transformateur et la détokenisation. Bien que la qualité de la sortie ne soit pas élevée, son efficacité est remarquable, produisant plusieurs réponses par seconde sur du matériel moderne. Cela démontre le potentiel du code compact dans l'implémentation de modèles d'IA complexes.