AppleとNVIDIA、LLMのテキスト生成を高速化するため協力

2024-12-18

AppleとNVIDIAは、AppleのReDrafterテクノロジーをNVIDIAのTensorRT-LLMに統合することで、大規模言語モデルのテキスト生成速度を大幅に向上させました。ReDrafterはビームサーチと動的ツリーアテンションを組み合わせることで、品質を犠牲にすることなく、大幅に高速なテキスト生成を実現します。この協力により、NVIDIA GPUを使用する開発者は、ReDrafterの高速化されたトークン生成を本番環境のLLMアプリケーションに容易に活用できるようになり、ベンチマークテストでは2.7倍の速度向上を実現し、レイテンシと消費電力を削減します。

続きを読む
AI

Appleインテリジェンス:iPhoneのAI機能に対するユーザーの反応は様々

2024-12-16

最近の調査によると、AIはiPhone購入者にとって重要な要素であるものの、Appleの現在のAI機能(文章作成ツールや通知要約など)は、多くのユーザーに感銘を与えていません。ほとんどのユーザーは、それらがほとんど役に立たないと感じています。しかし、iOS 18.2に追加されたGenmojiとChatGPTの統合によって、この認識は変わる可能性があります。

続きを読む