AMD MI300X 在大语言模型推理方面超越 NVIDIA H100 (www.blog.tensorwave.com)

TensorWave 基准测试表明，AMD 的 MI300X 加速器在离线和在线推理任务中均优于 NVIDIA 的 H100，尤其是在使用 Mixtral 8x7B 等混合专家 (MoE) 架构时。MI300X 不仅吞吐量更高，而且在需要快速响应时间的实际场景中表现出色。结合其具有竞争力的成本和硬件可用性，MI300X 成为寻求扩展 AI 推理能力的企业的绝佳选择。