LLMs falham espetacularmente em conhecimentos de nicho: Um estudo de caso do Braquiossauro

Uma postagem de blog expõe as falhas críticas dos Modelos de Linguagem Grandes (LLMs) ao lidar com conhecimentos especializados. Usando a taxonomia do gênero Braquiossauro como exemplo, o autor demonstra erros significativos do ChatGPT ao responder a perguntas relacionadas. Esses erros não são apenas imprecisões factuais; eles são apresentados de uma maneira enganosamente plausível. Isso destaca que os LLMs não são oniscientes e sua saída é não confiável em áreas que carecem de suporte de dados robusto. Os usuários precisam de conhecimento especializado para discernir a verdade da falsidade. O autor adverte contra confiar cegamente nas saídas de LLM e recomenda verificar as respostas.