OpenAI admite: las alucinaciones de la IA provienen de fallas fundamentales en el entrenamiento

OpenAI ha publicado un artículo que revela que las 'alucinaciones' en sus grandes modelos de lenguaje no son accidentales; son consecuencia de fallas fundamentales en la metodología de entrenamiento. Los modelos se entrenan para priorizar las conjeturas en lugar de admitir la ignorancia, ya que esto produce puntuaciones más altas en los sistemas de evaluación actuales. El artículo utiliza el ejemplo de encontrar el cumpleaños de un investigador para demostrar cómo el mecanismo de entrenamiento lleva a respuestas incorrectas. OpenAI reconoce que los métodos de evaluación convencionales recompensan este comportamiento 'alucinatorio' y afirma que está mejorando los mecanismos de entrenamiento, como pedir a los modelos que respondan con más frecuencia 'No lo sé', pero resolver completamente el problema sigue siendo un desafío.