活性化最大化によるプロンプト生成：Yelpレビューの極性で95.9％の精度
2025-08-16
この記事では、活性化最大化を用いた新しいプロンプトエンジニアリング手法を紹介します。モデルの重みではなく入力を最適化することで、Llama-3.2-1B-Instructモデルを用いたYelpレビューの極性感情分類タスクにおいて、4トークンのプロンプトが95.9％の精度を達成しました。これは、手書きのプロンプト（57％）を大幅に上回っています。この手法は、LLMの埋め込みベクトル空間を巧みに利用し、プロンプトを微分可能なテンソルとして表現することで、勾配降下法による最適化を実現しています。この技術は、特にGPUメモリに制約がある場合、大規模言語モデルのタスク切り替え効率を向上させる可能性を秘めています。
続きを読む
AI
活性化最大化