AppleとNVIDIA、LLMのテキスト生成を高速化するため協力

AppleとNVIDIAは、AppleのReDrafterテクノロジーをNVIDIAのTensorRT-LLMに統合することで、大規模言語モデルのテキスト生成速度を大幅に向上させました。ReDrafterはビームサーチと動的ツリーアテンションを組み合わせることで、品質を犠牲にすることなく、大幅に高速なテキスト生成を実現します。この協力により、NVIDIA GPUを使用する開発者は、ReDrafterの高速化されたトークン生成を本番環境のLLMアプリケーションに容易に活用できるようになり、ベンチマークテストでは2.7倍の速度向上を実現し、レイテンシと消費電力を削減します。