LLMベンチマーク：ペリカンと自転車
2024-12-16
Simon WillisonはユニークなLLMベンチマークを作成しました。それは、自転車に乗るペリカンのSVG画像を生成することです。この珍しいプロンプトは、既存のトレーニングデータに頼らずに、モデルの創造性をテストすることを目的としています。彼はOpenAI、Anthropic、Google Gemini、Meta（Cerebrasで動作するLlama）の16個のモデルをテストし、生成されたSVGの品質に大きなばらつきがあることを明らかにしました。一部のモデルは驚くほど良い結果を出しましたが、他のモデルは苦労しました。
AI
画像生成