热门标签：
Mac 多显示器 显示器扩展 requests patch 并发 Alpine Linux BSD Linux 电动汽车 全部标签

小模型的崛起：300亿参数也能很“小”

2025-05-24
小模型的崛起：300亿参数也能很“小”

曾经，“小模型”意味着几百万参数，能跑在树莓派上。但如今，300亿参数模型只需单卡GPU就能运行，定义已悄然改变。现在，“小模型”更注重部署便捷性，而非参数量。它们分为边缘优化模型（例如Phi-3-mini，可在移动设备上运行）和GPU友好型模型（例如Meta Llama 3 70B，单卡GPU即可运行）。小模型的优势在于专注特定任务，效率更高，更容易微调。即使是700亿参数模型，经过量化优化后，也能在高端消费级GPU上流畅运行。这标志着小模型时代来临，它们将为创业公司、开发者和企业带来更多可能性。

阅读更多
(jigsawstack.com)
AI 小模型

JigsawStack混合代理（MoA）：通过提示引擎超越任何单个LLM并降低成本

2024-12-06
JigsawStack混合代理（MoA）：通过提示引擎超越任何单个LLM并降低成本

JigsawStack 推出一种名为“提示引擎”的新功能，旨在解决在不同大型语言模型（LLM）之间切换、控制成本和保持输出质量一致性等难题。该引擎允许用户创建包含提示、动态变量和预期输出结构的“提示引擎”。创建后，引擎会自动优化提示并从50多个LLM中选择5个最相关的模型并行运行。引擎会根据提示和输出相似性对结果进行排序，并将最佳输出合并，同时维护用户预设的输出结构。随着使用次数增加，引擎会学习哪些LLM表现更好，从而提高输出质量和速度，并降低成本。

阅读更多
(jigsawstack.com)
11
未分类 JigsawStack