Luminal: Una biblioteca de aprendizaje profundo de alto rendimiento con compilación basada en búsqueda

Luminal es una biblioteca de aprendizaje profundo que logra un alto rendimiento mediante la compilación basada en búsqueda. Su núcleo es notablemente mínimo, construido sobre solo 12 operaciones primitivas, pero capaz de soportar modelos complejos como Transformers y redes convolucionales. Al fusionar agresivamente núcleos y compilar núcleos específicos de forma en tiempo de compilación, Luminal supera las limitaciones típicas de las arquitecturas RISC y deriva automáticamente optimizaciones complejas como Flash Attention. Su enfoque de compilación estática evita la sobrecarga de tiempo de ejecución, con soporte para Metal y CUDA, lo que permite una ejecución rápida en Macs y GPUs Nvidia. Se han demostrado ganancias significativas de rendimiento en modelos como Llama 3 8B.