Jagged Flash Attention de Meta : Révolution dans les performances des systèmes de recommandation
Meta présente Jagged Flash Attention, une innovation qui transforme les performances et l'évolutivité des systèmes de recommandation à grande échelle. Les méthodes traditionnelles ont des difficultés avec les caractéristiques catégorielles de longueur variable (comme l'historique des interactions de l'utilisateur), nécessitant un padding excessif. Jagged Flash Attention gère efficacement ces caractéristiques en utilisant des tenseurs irréguliers, éliminant la surcharge de padding. Combiné avec la bibliothèque TorchRec, il offre des améliorations de performances jusqu'à 10 fois dans l'environnement de production de Meta et prend en charge l'entraînement de modèles avec plus de 3 billions de paramètres. Cette innovation fait progresser significativement les systèmes de recommandation personnalisés.
Lire plus