Jagged Flash Attention do Meta: Revolucionando o Desempenho de Sistemas de Recomendação
2025-03-21
O Meta apresenta o Jagged Flash Attention, uma inovação que transforma o desempenho e a escalabilidade de sistemas de recomendação em larga escala. Métodos tradicionais enfrentam dificuldades com recursos categóricos de comprimento variável (como o histórico de interação do usuário), exigindo preenchimento excessivo. O Jagged Flash Attention lida eficientemente com esses recursos usando tensores irregulares, eliminando a sobrecarga de preenchimento. Combinado com a biblioteca TorchRec, proporciona melhorias de desempenho de até 10 vezes no ambiente de produção do Meta e suporta o treinamento de modelos com mais de 3 trilhões de parâmetros. Essa inovação avança significativamente os sistemas de recomendação personalizados.