El Origen de los LLMs: ¿ULMFit o GPT-1?

Este artículo profundiza en el misterio del origen de los Grandes Modelos de Lenguaje (LLMs). El autor revisa el desarrollo desde ULMFit hasta GPT-1, proporcionando un análisis detallado de la definición de un LLM. Se argumenta que ULMFit podría ser el primer LLM, cumpliendo criterios clave como el entrenamiento autosupervisado, la predicción de la siguiente palabra y la fácil adaptación a diversas tareas basadas en texto. Si bien GPT-1 es ampliamente conocido por su arquitectura Transformer, la contribución de ULMFit no puede ser ignorada. El artículo también explora las tendencias futuras de los LLMs, prediciendo que el término 'LLM' seguirá usándose, evolucionando con las capacidades del modelo y potencialmente abarcando el procesamiento multimodal.