Apple과 NVIDIA, LLM 텍스트 생성 속도 향상 위해 협력
2024-12-18
Apple과 NVIDIA는 Apple의 ReDrafter 기술을 NVIDIA의 TensorRT-LLM에 통합하여 대규모 언어 모델의 텍스트 생성 속도를 크게 향상시켰습니다. ReDrafter는 빔 서치와 동적 트리 어텐션을 결합하여 품질을 떨어뜨리지 않고 훨씬 빠른 텍스트 생성을 달성합니다. 이 협력을 통해 NVIDIA GPU를 사용하는 개발자는 ReDrafter의 가속화된 토큰 생성을 프로덕션 환경의 LLM 애플리케이션에 쉽게 활용할 수 있게 되었으며, 벤치마크 테스트에서 2.7배의 속도 향상을 달성하여 지연 시간과 전력 소비를 줄였습니다.
더 보기
AI
