Geração de Prompts por Maximização de Ativação: 95,9% de Precisão na Polaridade de Avaliações do Yelp
2025-08-16
Este artigo apresenta uma nova abordagem para engenharia de prompts usando maximização de ativação. Ao otimizar a entrada em vez dos pesos do modelo, foi gerado um prompt de 4 tokens que alcançou 95,9% de precisão na tarefa de classificação de sentimento de Polaridade de Avaliações do Yelp usando o modelo Llama-3.2-1B-Instruct, superando significativamente os prompts escritos manualmente (57%). Este método utiliza inteligentemente o espaço vetorial de embeddings do LLM, representando o prompt como um tensor diferenciável e usando descida de gradiente para otimização. Essa técnica mostra potencial para aumentar a eficiência de troca de tarefas em modelos de linguagem grandes, especialmente com restrições de memória da GPU.
Leia mais