Técnica revolucionaria reduce los costos de memoria de LLM hasta en un 75%
2024-12-17
Sakana AI, una startup con sede en Tokio, ha desarrollado una técnica innovadora llamada "memoria universal de transformador" que mejora significativamente la eficiencia de memoria de los grandes modelos de lenguaje (LLM). Utilizando módulos de memoria de atención neuronal (NAMM), la técnica actúa como un editor inteligente, descartando información redundante mientras retiene detalles cruciales. Esto resulta en una reducción de hasta el 75% en los costos de memoria y un mejor rendimiento en varios modelos y tareas, ofreciendo beneficios sustanciales para las empresas que utilizan LLM.
Leer más
