Más allá de los loros estocásticos: los circuitos de los grandes modelos de lenguaje

Los grandes modelos de lenguaje (LLM) han sido descartados por algunos como meros "loros estocásticos", simplemente memorizando y regurgitando patrones estadísticos de sus datos de entrenamiento. Sin embargo, investigaciones recientes revelan una realidad más matizada. Los investigadores han descubierto complejos "circuitos" internos -algoritmos autoaprendidos que resuelven clases de problemas específicas- dentro de estos modelos. Estos circuitos permiten la generalización a situaciones no vistas, como generar pareados que riman e incluso planificar proactivamente la estructura de estos pareados. Aunque existen limitaciones, estos hallazgos desafían la narrativa del "loro estocástico" y plantean preguntas más profundas sobre la naturaleza de la inteligencia del modelo: ¿pueden los LLM generar independientemente nuevos circuitos para resolver problemas totalmente nuevos?