Apple e NVIDIA se unem para acelerar a geração de texto de LLMs
2024-12-18
A Apple e a NVIDIA uniram forças para integrar a tecnologia ReDrafter da Apple ao TensorRT-LLM da NVIDIA, resultando em uma aceleração significativa na geração de texto de modelos de linguagem grandes. O ReDrafter combina busca em feixe e atenção de árvore dinâmica, obtendo uma geração de texto significativamente mais rápida sem sacrificar a qualidade. Essa colaboração permite que desenvolvedores que usam GPUs NVIDIA aproveitem facilmente a geração de tokens acelerada do ReDrafter para seus aplicativos LLM de produção, alcançando um aumento de velocidade de 2,7x em testes de benchmark, reduzindo a latência e o consumo de energia.
Leia mais
IA
