SIMD < SIMT < SMT：NVIDIA GPU 中的并行机制

本文深入探讨了 NVIDIA GPU 中的并行编程模型 SIMT，将其与 SIMD 和 SMT 进行比较。文章首先阐述了 SIMT 的三个关键特性：单指令多寄存器集、单指令多地址和单指令多流路径，这些特性使得 SIMT 比 SIMD 更灵活。随后，文章分析了 SIMT 和 SMT 在高延迟指令处理上的差异，指出 SIMT 依靠大量线程和高吞吐量来掩盖高延迟，而 SMT 则采用上下文切换。最后，文章总结了 SIMT 在低占用率、流分歧和同步选项上的局限性，并肯定了 SIMT 作为一种独特高效的并行架构的价值。