AMD Instinct MI350: 基于GCN架构的AI加速器深度解析

AMD首席Instinct架构师Alan Smith接受采访，深入解读了基于GFX9架构的全新MI350系列AI加速器。MI350虽然沿用GFX9架构，但通过提升LDS容量至160KB并提升带宽，以及引入微型缩放格式支持FP8、FP6和FP4数据类型，显著提升了性能。值得注意的是，MI350的FP6和FP4拥有相同吞吐量，这源于AMD对FP6在训练和推理领域的潜力看好。此外，MI350放弃了TF32硬件加速，转而优化BF16，并提供软件模拟以支持TF32。MI350采用N3P工艺的计算芯片和N6工艺的I/O芯片，通过减少计算单元数量并优化设计，在降低功耗的同时保证了性能。