Apple y NVIDIA colaboran para acelerar la generación de texto de LLM
2024-12-18
Apple y NVIDIA se han unido para integrar la tecnología ReDrafter de Apple en TensorRT-LLM de NVIDIA, lo que resulta en una aceleración significativa en la generación de texto de modelos de lenguaje grandes. ReDrafter combina la búsqueda por haz y la atención de árbol dinámico, logrando una generación de texto significativamente más rápida sin sacrificar la calidad. Esta colaboración permite a los desarrolladores que utilizan GPUs NVIDIA aprovechar fácilmente la generación de tokens acelerada de ReDrafter para sus aplicaciones LLM de producción, alcanzando un aumento de velocidad de 2,7x en pruebas de evaluación comparativa, reduciendo la latencia y el consumo de energía.
Leer más
IA
