Cerebras推理速度提升三倍：Llama3.1-70B突破每秒2100个Token (cerebras.ai)

Cerebras宣布其推理引擎速度提升三倍，Llama3.1-70B模型的处理速度达到每秒2100个token。这一速度比之前的版本提升了3倍，比最快的GPU解决方案快16倍，比运行Llama3.1-3B模型的GPU快8倍。Cerebras将速度提升归功于软件、硬件和机器学习方面的多项改进，包括优化关键内核、简化晶圆输入输出以及实施推测解码等技术。快速推理对于实时AI应用至关重要，Cerebras推理引擎已被用于药物发现和语音AI等领域。