Luminal: Uma biblioteca de aprendizado profundo de alto desempenho com compilação baseada em busca

Luminal é uma biblioteca de aprendizado profundo que alcança alto desempenho por meio de compilação baseada em busca. Seu núcleo é notavelmente mínimo, construído com apenas 12 operações primitivas, mas capaz de suportar modelos complexos como Transformers e redes convolucionais. Ao fundir agressivamente kernels e compilar kernels específicos de forma na compilação, Luminal supera as limitações típicas de arquiteturas RISC e deriva automaticamente otimizações complexas como Flash Attention. Sua abordagem de compilação estática evita sobrecarga de tempo de execução, com suporte a Metal e CUDA, permitindo execução rápida em Macs e GPUs Nvidia. Ganhos significativos de desempenho foram demonstrados em modelos como Llama 3 8B.