AMD MI300X 对比 Nvidia H100 SXM：Mixtral 8x7B 推理性能对比

本文对 AMD MI300X 和 Nvidia H100 SXM 在运行 MistralAI Mixtral 8x7B 大型语言模型推理时的性能进行了比较。基准测试结果表明，MI300X 在小型和大型批处理规模（1、2、4 和 256、512、1024）下表现优于 H100 SXM，但在中等批处理规模下表现较差。虽然 MI300X 在中等批处理规模下更昂贵，但在极低和极高批处理规模下，其成本效益更高。