Luminal: Eine Hochleistungs-Deep-Learning-Bibliothek mit suchbasierter Kompilierung

Luminal ist eine Deep-Learning-Bibliothek, die durch suchbasierte Kompilierung hohe Leistung erzielt. Ihr Kern ist bemerkenswert minimal und besteht aus nur 12 primitiven Operationen, ist aber in der Lage, komplexe Modelle wie Transformer und Convolutional Networks zu unterstützen. Durch aggressive Kernel-Fusion und die Kompilierung form-spezifischer Kernel zur Kompilierzeit überwindet Luminal die typischen Nachteile von RISC-Architekturen und leitet automatisch komplexe Optimierungen wie Flash Attention ab. Der statische Kompilierungsansatz vermeidet Laufzeit-Overhead, wobei Metal und CUDA unterstützt werden, was eine schnelle Ausführung auf Macs und Nvidia-GPUs ermöglicht. Signifikante Leistungssteigerungen wurden bei Modellen wie Llama 3 8B gezeigt.