Apple et NVIDIA collaborent pour accélérer la génération de texte des LLM

Apple et NVIDIA se sont associés pour intégrer la technologie ReDrafter d'Apple à NVIDIA TensorRT-LLM, ce qui accélère considérablement la génération de texte des grands modèles de langage. ReDrafter combine la recherche par faisceau et l'attention arborescente dynamique, permettant une génération de texte beaucoup plus rapide sans compromettre la qualité. Cette collaboration permet aux développeurs utilisant des GPU NVIDIA de profiter facilement de la génération de jetons accélérée de ReDrafter pour leurs applications LLM de production, atteignant une augmentation de vitesse de 2,7x lors de tests de référence, réduisant ainsi la latence et la consommation d'énergie.