Implémentation du backend Flash Attention dans SGLang : Bases et cache KV

Cet article de blog détaille l’implémentation de bout en bout du backend Flash Attention dans SGLang, désormais le backend d’attention par défaut dans SGLang 0.4.6. Il explore en profondeur le fonctionnement des backends d’attention dans les moteurs de service LLM modernes et explique le fonctionnement interne de Flash Attention. L’auteur partage les détails de l’implémentation, notamment le cache KV et la prise en charge du graphe CUDA, et décrit les travaux futurs, tels que le décodage spéculatif, MLA, Llama 4 et la prise en charge multimodale. Les benchmarks montrent que FA3 offre systématiquement le débit le plus élevé, surpassant FlashInfer et Triton.