GPU与TPU的架构深度比较：从游戏渲染到大型语言模型

本文深入探讨了GPU和TPU的架构差异，从其核心计算单元、内存层次结构到网络连接方式，并以H100和B200为例，详细分析了现代GPU的内部结构，包括Streaming Multiprocessors (SMs)、CUDA Cores、Tensor Cores以及不同内存级别（SMEM、L2 Cache、HBM）之间的交互。文章还比较了GPU和TPU在集体通信（例如AllReduce、AllGather）方面的性能差异，并分析了不同并行策略（数据并行、张量并行、流水线并行、专家并行）对大型语言模型训练效率的影响。最后，文章总结了在GPU上扩展大型语言模型的策略，并以DeepSeek v3和LLaMA-3为例进行了说明。