Prompt-Generierung durch Aktivierungsmaximierung: 95,9 % Genauigkeit bei der Yelp-Bewertungs-Polarität
2025-08-16
Dieser Artikel präsentiert einen neuartigen Ansatz für Prompt Engineering mittels Aktivierungsmaximierung. Durch Optimierung des Inputs anstatt der Modellgewichte wurde ein 4-Token-Prompt generiert, der mit dem Llama-3.2-1B-Instruct-Modell eine Genauigkeit von 95,9 % bei der Sentiment-Klassifizierung der Yelp-Bewertungs-Polarität erreichte und damit handgeschriebene Prompts (57 %) deutlich übertraf. Die Methode nutzt geschickt den Einbettungsvektorraum des LLMs, indem sie den Prompt als differenzierbaren Tensor darstellt und Gradient Descent zur Optimierung verwendet. Diese Technik birgt Potenzial zur Steigerung der Aufgabenwechsel-Effizienz in großen Sprachmodellen, insbesondere bei begrenzter GPU-Speicherkapazität.