LLMによるフォント識別への挑戦：失敗に終わる？

開発者は、DaFontフォーラムから未識別フォントのデータセットを用いて、GPT-4とGeminiのフォント識別能力をベンチマークしました。画像、タイトル、説明などのコンテキスト情報を提供したにも関わらず、両LLMとも非常に低い精度しか達成できませんでした。これは、一見単純な画像分類タスクにおいても、LLMには限界があり、万能な解決策ではないことを示唆しています。このプロジェクトでは、Pythonスクリプトによるデータスクレイピング、GitHub Actionsによる自動化、JSONによるデータ保存、Observableによる動的ダッシュボードの作成が行われました。