Luminal: 검색 기반 컴파일을 사용한 고성능 딥러닝 라이브러리

Luminal은 검색 기반 컴파일을 사용하여 고성능을 달성하는 딥러닝 라이브러리입니다. 핵심은 매우 간소하며, 단 12개의 기본 연산자로 구성되어 있음에도 불구하고 Transformer 및 합성곱 신경망과 같은 복잡한 모델을 지원할 수 있습니다. 컴파일 시 적극적인 커널 융합과 형태 특정 커널 컴파일을 통해 Luminal은 기존 RISC 아키텍처의 단점을 극복하고 Flash Attention과 같은 복잡한 최적화를 자동으로 도출합니다. 정적 컴파일 방식으로 런타임 오버헤드를 피하고 Metal 및 CUDA를 지원하여 Mac 및 Nvidia GPU에서 고속 실행이 가능합니다. Llama 3 8B와 같은 모델에서 눈에 띄는 성능 향상을 보여줍니다.