用激活最大化生成提示词，在Yelp评论情感分类任务中达到95.9%的准确率
2025-08-16
本文介绍了一种利用激活最大化技术生成提示词的方法，并在Yelp评论情感分类任务中取得了显著成果。作者通过优化输入而非模型权重，生成仅包含4个token的提示词，在Llama-3.2-1B-Instruct模型上实现了95.9%的准确率，远超手工编写的提示词（57%）。该方法巧妙地利用了LLM的嵌入向量空间，将提示词表示为可微分的张量，从而利用梯度下降进行优化。这项技术有潜力提高大型语言模型的任务切换效率，尤其是在GPU资源受限的情况下。
阅读更多
AI
激活最大化