OpenAI le prouve mathématiquement : pourquoi les hallucinations de ChatGPT pourraient être là pour rester

Une nouvelle étude d'OpenAI prouve mathématiquement pourquoi les grands modèles de langage comme ChatGPT « hallucinent » – inventant des faits avec assurance. Ce n'est pas simplement un problème d'entraînement ; c'est mathématiquement inévitable en raison de la nature probabiliste de la prédiction des mots. Même des données parfaites ne résoudraient pas le problème. L'étude révèle également un système d'évaluation défectueux qui pénalise l'incertitude, incitant les modèles à deviner plutôt qu'à admettre leur ignorance. Bien qu'OpenAI propose une solution basée sur la confiance, cela affecterait considérablement l'expérience utilisateur et les coûts de calcul, la rendant impraticable pour les applications grand public. Tant que les incitations commerciales ne changeront pas, les hallucinations dans les LLM persisteront probablement.