Technique révolutionnaire réduisant les coûts de mémoire des LLM jusqu'à 75 %
2024-12-17
Sakana AI, une startup basée à Tokyo, a développé une technique révolutionnaire appelée « mémoire universelle de transformateur » qui améliore considérablement l'efficacité de la mémoire des grands modèles de langage (LLM). Utilisant des modules de mémoire d'attention neuronale (NAMM), la technique agit comme un éditeur intelligent, éliminant les informations redondantes tout en conservant les détails essentiels. Cela se traduit par une réduction des coûts de mémoire pouvant atteindre 75 % et de meilleures performances sur divers modèles et tâches, offrant des avantages considérables aux entreprises utilisant les LLM.