LLM 벤치마크: 자전거를 타는 펠리컨

Simon Willison은 자전거를 타는 펠리컨의 SVG 이미지를 생성하는 독특한 LLM 벤치마크를 만들었습니다. 이 특이한 프롬프트는 기존의 훈련 데이터에 의존하지 않고 모델의 창의성을 테스트하기 위한 것입니다. 그는 OpenAI, Anthropic, Google Gemini, Meta(Cerebras에서 실행되는 Llama)의 16개 모델을 테스트하여 생성된 SVG의 품질에 큰 차이가 있음을 밝혔습니다. 일부 모델은 놀라울 정도로 좋은 결과를 보였지만 다른 모델들은 어려움을 겪었습니다.