Optimierung eines Matrixmultiplikations-Kernels in CUDA mit Tensor Cores
Dieser Beitrag beschreibt die Bemühungen des Autors, einen optimierten Matrixmultiplikations-Kernel in CUDA unter Verwendung von Tensor Cores auf einer NVIDIA Tesla T4 GPU zu schreiben. Das Ziel war die Berechnung von D = α * A * B + β * C so schnell wie möglich. Durch iterative Optimierung von sechs Kerneln erreichte der Autor eine vergleichbare Leistung zur cuBLAS hgemm-Implementierung von NVIDIA und hebt dabei Techniken wie hierarchisches Tiling, Ausnutzung der Speicherhierarchie, Datenwiederverwendung, Überlappung von Berechnung und Datenbewegung sowie effiziente Nutzung von Tensor Cores hervor. Der Autor teilt Erkenntnisse aus Profiling und Optimierung und betont die Bedeutung der arithmetischen Intensität und der Speicherbandbreite.
Mehr lesen