苹果与英伟达合作，加速大型语言模型文本生成

苹果与英伟达合作，将苹果的ReDrafter技术整合到英伟达的TensorRT-LLM中，显著提升了大型语言模型的文本生成速度。ReDrafter结合了束搜索和动态树注意力机制，在保证生成质量的同时，大幅提高了效率。此次合作使基于英伟达GPU的开发者能够轻松利用ReDrafter加速其生产环境中的大型语言模型应用，在基准测试中实现了2.7倍的生成速度提升，降低了延迟并减少了功耗。