Von KI generierte Webseite: Ein Experiment zu Fähigkeiten vs. Wissen

Der Sicherheitsforscher Nicholas Carlini führte ein zwölftägiges Experiment durch: Er schrieb täglich seine Webseite und seine Biografie mit einem anderen Sprachmodell neu. Er stellte fest, dass die Modelle zwar hervorragende visuell beeindruckende Webseiten generieren konnten, aber in Bezug auf die Genauigkeit der Fakten deutlich versagten. Beispielsweise enthielt die von dem Modell o1-mini generierte Webseite 43 Aussagen; 32 waren völlig falsch, 9 enthielten schwerwiegende Fehler und nur 2 waren faktisch korrekt. Dies unterstreicht die große Diskrepanz zwischen "Fähigkeiten" (Webseite-Generierung) und "Wissen" (faktische Genauigkeit) in LLMs und betont die Notwendigkeit von Vorsicht beim Vertrauen auf KI-generierte Inhalte.