Los modelos lingüísticos grandes se quedan cortos en la IMO 2025: el rendimiento a nivel de medalla sigue siendo esquivo
Los investigadores evaluaron cinco modelos lingüísticos grandes (LLM) de última generación en los problemas de la Olimpiada Matemática Internacional (IMO) de 2025 utilizando la plataforma MathArena. El Gemini 2.5 Pro obtuvo el mejor resultado, alcanzando solo una puntuación del 31% (13 puntos), muy por debajo de los 19 puntos necesarios para una medalla de bronce. Otros modelos se quedaron significativamente atrás. Se utilizó una estrategia de selección de mejor de 32, generando y evaluando múltiples respuestas por problema, lo que aumentó significativamente el coste computacional. A pesar de ello, los resultados demuestran una brecha sustancial entre los LLM actuales y el rendimiento a nivel de medalla en problemas matemáticos extremadamente desafiantes como los de la IMO, incluso con recursos computacionales sustanciales. El análisis cualitativo reveló problemas como modelos que citan teoremas inexistentes y proporcionan respuestas demasiado concisas.
Leer más