Bucle de ensueño de los LLM: ¿El precio de la innovación revolucionaria?

A pesar de sus impresionantes capacidades, los grandes modelos de lenguaje (LLM) aún no han producido una innovación genuina. El autor propone que esto se debe a que carecen de un mecanismo de procesamiento en segundo plano similar a la red de modo predeterminado del cerebro humano. Para abordar esto, se sugiere un 'bucle de ensueño' (DDL): un proceso en segundo plano que continuamente muestrea pares de conceptos de la memoria, explora vínculos no obvios y filtra ideas valiosas, creando un bucle de retroalimentación compuesto. Si bien es computacionalmente costoso, este 'impuesto de ensueño' puede ser el precio necesario para la innovación y una zanja competitiva. En última instancia, los LLM costosos que 'sueñan despiertos' podrían generar principalmente datos de entrenamiento para la próxima generación de modelos eficientes, eludiendo así el inminente muro de datos.