Generación de Prompts mediante Maximización de Activación: 95,9% de Precisión en la Polaridad de Reseñas de Yelp

Este artículo presenta un nuevo enfoque para la ingeniería de prompts utilizando la maximización de activación. Al optimizar la entrada en lugar de los pesos del modelo, se generó un prompt de 4 tokens que logró una precisión del 95,9% en la tarea de clasificación de sentimiento de polaridad de reseñas de Yelp usando el modelo Llama-3.2-1B-Instruct, superando significativamente a los prompts escritos manualmente (57%). Este método aprovecha inteligentemente el espacio vectorial de incrustaciones del LLM, representando el prompt como un tensor diferenciable y utilizando el descenso de gradiente para la optimización. Esta técnica muestra potencial para aumentar la eficiencia del cambio de tareas en los modelos de lenguaje grandes, especialmente con restricciones de memoria de la GPU.