Transformer²: LLMs autoadaptáveis inovam
O Transformer² é um novo sistema de aprendizado de máquina que ajusta dinamicamente seus pesos para várias tarefas. Inspirado nos mecanismos adaptativos da natureza, como um polvo mudando de cor ou o cérebro se reconectando, ele permite que modelos de linguagem grandes (LLMs) se adaptem a novas tarefas em tempo real. Usando Decomposição de Valor Singular (SVD) e Aprendizado por Reforço (RL), o Transformer² decompõe os pesos do modelo em componentes independentes e aprende como combiná-los de forma otimizada para diversas tarefas, incluindo matemática, codificação, raciocínio e compreensão visual. Os resultados mostram que o Transformer² supera abordagens estáticas tradicionais como LoRA em eficiência e desempenho específico da tarefa, exigindo muito menos parâmetros. Este trabalho prepara o caminho para a construção de sistemas de IA de "inteligência viva" que aprendem e evoluem continuamente.
Leia mais