LLM 메모리 비용을 최대 75% 절감하는 획기적인 기술
2024-12-17
도쿄에 본사를 둔 스타트업 Sakana AI는 대규모 언어 모델(LLM)의 메모리 효율성을 크게 향상시키는 "유니버설 트랜스포머 메모리"라는 획기적인 기술을 개발했습니다. 뉴럴 어텐션 메모리 모듈(NAMM)을 사용하여, 이 기술은 불필요한 정보를 제거하고 중요한 세부 정보를 유지하는 지능형 편집기 역할을 합니다. 결과적으로 메모리 비용을 최대 75%까지 절감하고 다양한 모델과 작업에서 성능을 향상시킬 수 있습니다. LLM을 사용하는 기업에게 큰 이점을 제공합니다.