Implementando o Backend Flash Attention no SGLang: Básico e Cache KV

Esta postagem de blog detalha a implementação de ponta a ponta do backend Flash Attention no SGLang, agora o backend de atenção padrão no SGLang 0.4.6. Ela mergulha profundamente em como os backends de atenção funcionam em engines modernas de serviço LLM e explica o funcionamento interno do Flash Attention. O autor compartilha detalhes de implementação, incluindo o cache KV e o suporte ao gráfico CUDA, e descreve trabalhos futuros, como Decodificação Especulativa, MLA, Llama 4 e suporte multimodal. Benchmarks mostram que o FA3 consistentemente oferece a maior taxa de transferência, superando o FlashInfer e o Triton.