Génération d'invites par maximisation d'activation : 95,9 % de précision sur la polarité des avis Yelp

Cet article présente une nouvelle approche de l'ingénierie des invites utilisant la maximisation de l'activation. En optimisant l'entrée plutôt que les poids du modèle, une invite de 4 jetons a été générée, atteignant une précision de 95,9 % sur la tâche de classification du sentiment de polarité des avis Yelp en utilisant le modèle Llama-3.2-1B-Instruct, surpassant largement les invites écrites à la main (57 %). Cette méthode exploite intelligemment l'espace vectoriel des plongements du LLM, représentant l'invite comme un tenseur différentiable et utilisant la descente de gradient pour l'optimisation. Cette technique présente un potentiel pour améliorer l'efficacité du changement de tâche dans les grands modèles linguistiques, notamment en cas de contraintes de mémoire GPU.