Para além dos papagaios estocásticos: os circuitos dos modelos de linguagem grandes
Modelos de linguagem grandes (LLMs) foram descartados por alguns como meros "papagaios estocásticos", simplesmente memorizando e regurgitando padrões estatísticos de seus dados de treinamento. No entanto, pesquisas recentes revelam uma realidade mais matizada. Os pesquisadores descobriram complexos "circuitos" internos - algoritmos autoaprendidos que resolvem classes de problemas específicas - dentro desses modelos. Esses circuitos permitem a generalização para situações não vistas, como gerar coplas que rimam e até mesmo planejar proativamente a estrutura dessas coplas. Embora existam limitações, essas descobertas desafiam a narrativa do "papagaio estocástico" e levantam questões mais profundas sobre a natureza da inteligência do modelo: os LLMs podem independentemente gerar novos circuitos para resolver problemas totalmente novos?