LLMs scheitern bei der Schriftartenidentifizierung: Ein Live-Benchmark
2025-08-04
Ein Entwickler hat GPT-4 und Gemini in einem Live-Benchmark mit kontinuierlich aktualisierten, nicht identifizierten Schriftarten aus dem DaFont-Forum getestet. Trotz der Bereitstellung von Kontext wie Bildern, Titeln und Beschreibungen schnitten beide LLMs miserabel ab. Dies unterstreicht die Grenzen selbst bei scheinbar einfachen Bildklassifizierungsaufgaben und deutet darauf hin, dass LLMs noch lange keine universelle Lösung sind. Das Projekt verwendet Python-Skripte zum Scraping von Daten, GitHub Actions für die Automatisierung, JSON für die Speicherung und Observable für ein dynamisches Dashboard.