Cerebras训练Llama模型超越GPU

2024-10-31

Cerebras Systems公司宣布其WSE-3引擎在运行Meta Platforms最新Llama 3.2模型的推理方面,性能显著提升,速度比8月份测试Llama 3.1模型时提高了3.5倍。这一提升使得Cerebras CS-3系统在本地或Cerebras及其合作伙伴Group 42运营的云中运行时,相比基于Nvidia H100 GPU的实例拥有更大的优势,尤其在价格方面。Cerebras着重强调了Llama 3.2 70B模型的推理性能提升,并表示正在准备推出针对405B参数模型的解决方案。文章还分析了Cerebras与Nvidia在性能和价格方面的对比,指出Cerebras在云端租赁服务的定价策略可能是一种为了抢占市场的亏损策略。

未分类