Together平台现已支持Direct Preference Optimization (DPO)，一种无需强化学习即可对语言模型进行微调的技术。DPO通过直接利用偏好数据（包含提示、优选回复和非优选回复）来训练模型，从而提升模型的帮助性、准确性和定制性。与传统的强化学习方法相比，DPO更简单高效，更容易实现。文章详细介绍了DPO的工作原理、使用方法以及代码示例，并推荐了先进行监督式微调（SFT），再使用DPO进行精细化调整的策略。
阅读更多
Agentica和Together AI合作发布了DeepCoder-14B-Preview，这是一个基于强化学习微调的代码推理模型，其在LiveCodeBench上的准确率达到了60.6%，与OpenAI的o3-mini不相上下。该模型使用了24000个经过验证的编码问题进行训练，并开源了数据集、代码、训练日志和系统优化。DeepCoder的成功之处在于其高质量的数据集、稳定的GRPO+强化学习算法以及高效的系统优化，这些都为提升LLM的代码推理能力提供了宝贵的经验。
阅读更多
这篇文章详细介绍了 Together AI 开发的验收测试流程，该流程已成功应用于包含数千个 GPU 的集群。文章指出，随着人工智能能力的不断扩展，确保硬件基础设施（尤其是 GPU 集群）达到最高的可靠性和性能标准变得越来越重要。文章介绍了 GPU 集群测试的重要性、Together AI 的测试流程以及测试后的可观察性。
阅读更多
FlashAttention-3是一种针对英伟达Hopper GPU架构优化的注意力机制算法。它利用了异步Tensor Core和TMA、warp specialization、GEMM与softmax操作交织以及FP8低精度计算等技术，显著提升了注意力机制的速度和效率。相比FlashAttention-2，FP16精度下速度提升1.5-2倍，FP8精度下接近1.2 PFLOPS，且量化误差更小。
阅读更多
文章介绍了一种名为Dragonfly的全新指令微调视觉语言架构，该架构通过多分辨率缩放和选择来增强多模态推理，同时兼顾上下文效率。文章发布了两个新的开源模型Llama-3-8b-Dragonfly-v1和Llama-3-8b-Dragonfly-Med-v1，并通过示例展示了Dragonfly在视觉问答、图像描述和医学影像分析等方面的出色表现。
阅读更多