Site web généré par IA : une expérience sur les compétences versus les connaissances

Le chercheur en sécurité Nicholas Carlini a mené une expérience de douze jours : réécrire quotidiennement la page d’accueil de son site web et sa biographie à l’aide d’un modèle linguistique différent. Il a constaté que si les modèles excellaient dans la génération de pages web visuellement époustouflantes, ils trébuchaient considérablement en termes de précision factuelle. Par exemple, le modèle o1-mini a généré une page web contenant 43 affirmations ; 32 étaient totalement fausses, 9 comportaient des erreurs majeures et seulement 2 étaient factuellement correctes. Cela souligne la grande disparité entre « compétences » (génération de pages web) et « connaissances » (précision factuelle) dans les LLM, soulignant la nécessité de prudence lorsqu’on se fie à du contenu généré par IA.