OpenAI lo prueba matemáticamente: ¿Por qué las alucinaciones de ChatGPT podrían ser permanentes?
Un nuevo artículo de investigación de OpenAI prueba matemáticamente por qué los grandes modelos de lenguaje, como ChatGPT, 'alucinan' – inventando hechos con confianza. Esto no es simplemente un problema de entrenamiento; es matemáticamente inevitable debido a la naturaleza probabilística de la predicción de palabras. Incluso con datos perfectos, el problema persistiría. El artículo también revela un sistema de evaluación defectuoso que penaliza la incertidumbre, incentivando a los modelos a adivinar en lugar de admitir la ignorancia. Si bien OpenAI propone una solución basada en la confianza, afectaría drásticamente la experiencia del usuario y los costos computacionales, haciéndola impráctica para las aplicaciones de consumo. Hasta que cambien los incentivos comerciales, las alucinaciones en LLM probablemente persistirán.