从零开始构建快速LLM推理引擎

本文讲述了作者如何使用C++和CUDA从零开始构建一个LLM推理引擎，无需任何库。通过这个过程，作者深入学习了LLM推理的全栈知识，从CUDA内核到模型架构，并了解了各种优化如何影响推理速度。目标是创建一个程序，可以在单CPU+GPU服务器上加载常用开源模型的权重，进行单批推理，并迭代改进令牌吞吐量，最终超越llama.cpp。文章详细介绍了CPU和GPU上的优化步骤，包括多线程、权重量化、SIMD、内核融合以及KV缓存量化等，并分析了遇到的瓶颈和挑战。最终实现了接近最先进性能的本地LLM推理。