2 美元就能租用 H100 GPU:GPU 泡沫是如何破灭的

2024-10-11

文章分析了H100 GPU市场价格从每小时8美元暴跌至2美元的原因。作者认为,预留算力转售、开源模型微调以及大型模型创建公司减少是导致市场供过于求的主要原因。作者建议,除非有特殊需求,否则不要购买新的H100 GPU,租用是更经济的选择。文章还介绍了开源模型的兴起、GPU市场价格变化的影响以及作者公司Featherless.AI的商业模式。

阅读更多
未分类 市场分析

Segment Anything 2:以演示为先的模型开发

2024-08-11

这篇文章是对 Meta 发布的 Segment Anything 2 模型的深入探讨。SAM2 不仅在图像分割方面超越了前一代 SAM,更以高效的方式解决了视频分割难题,并以 Apache 2/CC by 4.0 协议开源。文章重点介绍了 SAM2 的创新之处,包括以演示为先的开发理念、全新的 SA-V 视频分割数据集、高效的模型架构以及引入的记忆机制以实现视频中目标的持续跟踪。

阅读更多
未分类 SAM2

如何训练百万级上下文LLM:与Gradient.ai的Mark Huang对话

2024-05-30

本文是对Latent Space播客节目“如何训练百万级上下文LLM”的总结,嘉宾是Gradient.ai的联合创始人Mark Huang。文章首先回顾了LLM上下文窗口大小的发展历程,然后介绍了Gradient如何利用RoPE编码、Ring Attention和课程学习将Llama3的上下文窗口扩展到100万甚至400万token。文章还讨论了长上下文模型的训练数据、评估基准以及潜在应用场景,并强调了多模态学习和持续评估对未来LLM发展的重要性。

阅读更多
未分类 长上下文