ChemBench: 화학 분야 LLM 벤치마크

ChemBench는 화학 분야에서 대규모 언어 모델(LLM)의 성능을 평가하도록 설계된 새로운 벤치마크 데이터셋입니다. 다양한 화학 질문을 난이도별로 분류하여 광범위한 분야를 다룹니다. 결과는 주요 LLM이 전반적인 성능에서 인간 전문가를 능가하지만, 지식 집약적인 질문과 화학적 추론에는 여전히 한계가 있음을 보여줍니다. ChemBench는 화학 LLM의 발전을 촉진하고 더욱 견고한 모델 평가를 위한 도구를 제공하는 것을 목표로 합니다.