如何优化CUDA矩阵乘法内核以获得类似cuBLAS的性能：工作日志

这篇文章详细介绍了如何逐步优化CUDA矩阵乘法内核，目标是在不构建cuBLAS替代方案的情况下，深入理解用于现代深度学习的GPU最重要的性能特征。文章从一个简单的内核开始，逐步应用全局内存合并、共享内存缓存、一维和二维块分块、向量化内存访问、自动调整和扭曲分块等优化，最终在A6000 GPU上实现了21.7 TFLOPs的性能，接近cuBLAS的23.2 TFLOPs。