Luminal：検索ベースのコンパイルによる高性能ディープラーニングライブラリ

Luminalは、検索ベースのコンパイルを用いて高性能を実現するディープラーニングライブラリです。そのコアは非常にミニマルで、わずか12個のプリミティブな演算子で構成されているにもかかわらず、Transformerや畳み込みニューラルネットワークなどの複雑なモデルをサポートできます。コンパイル時に積極的なカーネル融合と形状特異的なカーネルコンパイルを行うことで、Luminalは従来のRISCアーキテクチャの欠点を克服し、Flash Attentionなどの複雑な最適化を自動的に導き出します。静的コンパイルのアプローチによりランタイムオーバーヘッドを回避し、MetalとCUDAをサポートすることで、MacとNvidia GPU上で高速な実行が可能です。Llama 3 8Bなどのモデルで顕著な性能向上を示しています。