Técnica revolucionária reduz custos de memória de LLMs em até 75%
2024-12-17
A Sakana AI, uma startup sediada em Tóquio, desenvolveu uma técnica inovadora chamada "memória universal de transformador" que melhora significativamente a eficiência de memória dos grandes modelos de linguagem (LLMs). Usando módulos de memória de atenção neural (NAMMs), a técnica atua como um editor inteligente, descartando informações redundantes e retendo detalhes cruciais. Isso resulta em uma redução de até 75% nos custos de memória e melhor desempenho em vários modelos e tarefas, oferecendo benefícios substanciais para empresas que utilizam LLMs.