Webtagr - Technologienummer

Schachengine in 84.688 regulären Ausdrücken

2025-01-07

Nicholas Carlini hat als Urlaubsprojekt eine 2-schichtige Minimax-Schachengine mit erstaunlichen 84.688 regulären Ausdrücken gebaut. Er entwarf eine regex-basierte virtuelle Maschine mit einem branchfreien, bedingten Ausführungs- und SIMD-Befehlssatz. Ein Compiler für symbolische Ausführung übersetzt Python-Code in Regex-Sequenzen und ermöglicht parallele Berechnungen. Die Engine nutzt SIMD, um Züge für mehrere Figuren gleichzeitig zu berechnen, mit cleveren Regex-Optimierungen für Geschwindigkeit. Obwohl sie in der Tiefe begrenzt ist, zeigt sie die überraschende Rechenleistung regulärer Ausdrücke.

(nicholas.carlini.com)

Entwicklung reguläre Ausdrücke Schachengine parallele Berechnung

Von KI generierte Webseite: Ein Experiment zu Fähigkeiten vs. Wissen

2024-12-31

Der Sicherheitsforscher Nicholas Carlini führte ein zwölftägiges Experiment durch: Er schrieb täglich seine Webseite und seine Biografie mit einem anderen Sprachmodell neu. Er stellte fest, dass die Modelle zwar hervorragende visuell beeindruckende Webseiten generieren konnten, aber in Bezug auf die Genauigkeit der Fakten deutlich versagten. Beispielsweise enthielt die von dem Modell o1-mini generierte Webseite 43 Aussagen; 32 waren völlig falsch, 9 enthielten schwerwiegende Fehler und nur 2 waren faktisch korrekt. Dies unterstreicht die große Diskrepanz zwischen "Fähigkeiten" (Webseite-Generierung) und "Wissen" (faktische Genauigkeit) in LLMs und betont die Notwendigkeit von Vorsicht beim Vertrauen auf KI-generierte Inhalte.

(nicholas.carlini.com)

KI Faktenprüfung

ChatGPT-Klon in 3000 Byte C-Code

2024-12-12

Der Entwickler Nicholas Carlini hat einen ChatGPT-Klon mit nur 3000 Byte C-Code erstellt, angetrieben vom GPT-2-Modell. Diese abhängigefreie Implementierung lädt die Gewichtsmatrix und die BPE-Datei von GPT-2 und führt dann Tokenisierung, Matrixoperationen, Transformer-Inferenz und Detokenisierung durch. Obwohl die Ausgabequalität nicht hoch ist, ist die Effizienz bemerkenswert und erzeugt mehrere Antworten pro Sekunde auf moderner Hardware. Dies zeigt das Potenzial von kompaktem Code bei der Implementierung komplexer KI-Modelle.

(nicholas.carlini.com)

KI KI