Além dos Modelos Autoregressivos: A Próxima Fronteira da IA

A maioria dos modelos de IA generativa atualmente são autoregressivos, o que significa que eles prevêem o próximo token, com a arquitetura Transformer sendo a implementação dominante devido à sua eficiência computacional. No entanto, os modelos autoregressivos têm limitações inerentes, como falta de capacidade de planejamento e raciocínio, memória de longo prazo limitada e tendência a "alucinar". O autor argumenta que o pensamento humano não é puramente autoregressivo, abrangendo o pensamento não sequencial e o planejamento. Para alcançar uma IA mais próxima da cognição humana, os pesquisadores estão explorando paradigmas alternativos como JEPA e modelos de difusão, que geram conteúdo por meio de refinamento iterativo ou desruído de ruído, espelhando os processos de pensamento humanos mais de perto.