GPT-2 Inferenz-Demo im Browser mit WebGL2

Dieses beeindruckende Projekt bringt den vollständigen Vorwärtsdurchlauf des GPT-2 Small-Modells (117 Millionen Parameter) mithilfe von WebGL2 in den Browser. Durch die Nutzung von WebGL2-Shadern für die GPU-Berechnung und js-tiktoken für die BPE-Tokenisierung (kein WASM erforderlich) wird GPT-2 direkt im Browser ausgeführt. Ein Python-Skript lädt die vortrainierten Gewichte herunter, und das Frontend wird mit Vite für Hot Module Replacement erstellt. Dies ist ein fantastisches Beispiel dafür, wie man fortschrittliche KI-Modelle in den Browser bringt und die Spitzentechnologien des Web demonstriert.