Sitio web generado por IA: Un experimento sobre habilidad versus conocimiento

El investigador de seguridad Nicholas Carlini realizó un experimento de doce días: reescribir la página principal de su sitio web y su biografía diariamente utilizando un modelo de lenguaje diferente. Descubrió que, si bien los modelos sobresalían en la generación de páginas web visualmente impresionantes, fallaban significativamente en la precisión fáctica. Por ejemplo, el modelo o1-mini generó una página web con 43 afirmaciones; 32 eran completamente falsas, 9 tenían errores importantes y solo 2 eran fácticamente correctas. Esto destaca la gran discrepancia entre "habilidad" (generación de páginas web) y "conocimiento" (precisión fáctica) en los LLM, subrayando la necesidad de precaución al confiar en contenido generado por IA.