热门标签：
Mac 多显示器 显示器扩展 requests patch 并发 Alpine Linux BSD Linux 电动汽车 全部标签

SGLang：高效运行DeepSeek大语言模型的开源实现

2025-08-29
SGLang：高效运行DeepSeek大语言模型的开源实现

开源大语言模型DeepSeek因其强大的性能而备受赞誉，但其庞大的规模和独特的架构（使用MLA和MoE）需要先进的系统才能高效地进行大规模服务。本文介绍了如何利用SGLang与DeepSeek的推理系统性能相匹配。通过在Atlas云上使用12个节点（每个节点配备8个H100 GPU），并运用预填充-解码解耦和大型专家并行化（EP）等技术，实现了每秒52.3k个输入token和每秒22.3k个输出token的处理速度。这是第一个在开源领域实现接近DeepSeek官方博客报告的吞吐量的方案，成本仅为官方DeepSeek Chat API的五分之一。

阅读更多
(lmsys.org)
AI

LMSYS Chatbot Arena：实时和社区驱动的LLM评估

2024-04-30
LMSYS Chatbot Arena：实时和社区驱动的LLM评估

LMSYS Chatbot Arena是一个开源项目，旨在通过实时、开放和社区驱动的评估来推进LLM的发展和理解。该平台允许用户通过在实际用例中的成对比较来评价LLM，并定期发布排行榜。自2023年5月推出以来，Chatbot Arena已成为一个重要的LLM评估平台，吸引了数百万参与者，收集了超过80万张投票，用于评估90多个LLM。该项目致力于开放科学，分享用户偏好数据和一百万个用户提示，支持研究和模型改进。

阅读更多
(lmsys.org)
51
未分类 程序 政策研究 公共政策 社会政策 评估