활성화 최대화를 통한 프롬프트 생성: Yelp 리뷰 극성에서 95.9% 정확도 달성

본 논문에서는 활성화 최대화를 이용한 새로운 프롬프트 엔지니어링 기법을 제시합니다. 모델 가중치 대신 입력을 최적화하여 Llama-3.2-1B-Instruct 모델을 사용한 Yelp 리뷰 극성 감정 분류 작업에서 4토큰 프롬프트가 95.9%의 정확도를 달성했습니다. 이는 수동으로 작성된 프롬프트(57%)를 크게 능가하는 결과입니다. 본 기법은 LLM의 임베딩 벡터 공간을 효과적으로 활용하여 프롬프트를 미분 가능한 텐서로 표현함으로써 경사 하강법을 통한 최적화를 가능하게 합니다. 특히 GPU 메모리 제약이 있는 경우 대규모 언어 모델의 작업 전환 효율을 향상시킬 가능성을 제시합니다.