Más Allá de los Modelos Autoregresivos: La Próxima Frontera de la IA
La mayoría de los modelos de IA generativa actuales son autoregresivos, lo que significa que predicen el siguiente token, siendo la arquitectura Transformer la implementación dominante debido a su eficiencia computacional. Sin embargo, los modelos autoregresivos tienen limitaciones inherentes, como la falta de capacidad de planificación y razonamiento, la memoria a largo plazo limitada y la tendencia a "alucinar". El autor argumenta que el pensamiento humano no es puramente autoregresivo, abarcando el pensamiento no secuencial y la planificación. Para lograr una IA más cercana a la cognición humana, los investigadores están explorando paradigmas alternativos como JEPA y modelos de difusión, que generan contenido mediante el refinamiento iterativo o la eliminación de ruido, reflejando más fielmente los procesos de pensamiento humanos.