Loop de devaneio de LLMs: O preço da inovação inovadora?
Apesar de suas capacidades impressionantes, os grandes modelos de linguagem (LLMs) ainda não produziram uma inovação genuína. O autor propõe que isso ocorre porque eles carecem de um mecanismo de processamento em segundo plano semelhante à rede de modo padrão do cérebro humano. Para resolver isso, sugere-se um 'loop de devaneio' (DDL): um processo em segundo plano que continuamente amostra pares de conceitos da memória, explora links não óbvios e filtra ideias valiosas, criando um loop de feedback composto. Embora computacionalmente caro, esse 'imposto de devaneio' pode ser o preço necessário para a inovação e uma trincheira competitiva. Por fim, LLMs caros que 'devaneiam' podem gerar principalmente dados de treinamento para a próxima geração de modelos eficientes, contornando assim a iminente parede de dados.