Site gerado por IA: Um experimento sobre habilidade versus conhecimento

O pesquisador de segurança Nicholas Carlini realizou um experimento de doze dias: reescrever a página inicial de seu site e sua biografia diariamente usando um modelo de linguagem diferente. Ele descobriu que, embora os modelos excelssem na geração de páginas da web visualmente impressionantes, eles falhavam significativamente na precisão factual. Por exemplo, o modelo o1-mini gerou uma página da web com 43 declarações; 32 eram completamente falsas, 9 tinham erros graves e apenas 2 eram factualmente corretas. Isso destaca a grande discrepância entre "habilidade" (geração de páginas da web) e "conhecimento" (precisão factual) em LLMs, sublinhando a necessidade de cautela ao confiar em conteúdo gerado por IA.