OpenAI beweist mathematisch: Warum ChatGPTs Halluzinationen bleiben könnten

Ein neuer Forschungsbericht von OpenAI beweist mathematisch, warum große Sprachmodelle wie ChatGPT „halluzinieren“ – also selbstbewusst Fakten erfinden. Dies ist nicht nur ein Trainingsproblem, sondern mathematisch unausweichlich aufgrund der probabilistischen Natur der Wortvorhersage. Selbst perfekte Daten würden das Problem nicht lösen. Der Bericht deckt auch ein fehlerhaftes Bewertungssystem auf, das Unsicherheit bestraft und Modelle dazu anregt, zu raten anstatt Unwissenheit zuzugeben. Obwohl OpenAI eine vertrauensbasierte Lösung vorschlägt, würde dies die Benutzererfahrung und die Rechenkosten drastisch beeinträchtigen und sie für Verbraucheranwendungen unpraktisch machen. Solange sich die geschäftlichen Anreize nicht ändern, werden Halluzinationen in LLMs wahrscheinlich bestehen bleiben.