El auge de los modelos de lenguaje pequeños: 30 000 millones de parámetros y aún 'pequeños'
En 2018, un 'modelo pequeño' significaba unos pocos millones de parámetros que se ejecutaban en una Raspberry Pi. Hoy, un modelo de 30 000 millones de parámetros se considera 'pequeño', ya que solo necesita una GPU. La definición ha cambiado. Ahora, 'pequeño' hace hincapié en la capacidad de implementación en lugar del tamaño puro. Estos modelos se dividen en dos categorías: modelos optimizados para la periferia (como Phi-3-mini, que se ejecutan en dispositivos móviles) y modelos compatibles con GPU (como Meta Llama 3 70B, que se ejecutan en una sola GPU). Los modelos pequeños destacan en tareas especializadas, ofreciendo mayor eficiencia y un ajuste fino más fácil. Incluso los modelos de 70 000 millones de parámetros, con optimización, se ejecutan sin problemas en GPU de consumo de alta gama. Esto marca la llegada de la era de los modelos pequeños, abriendo posibilidades para nuevas empresas, desarrolladores y empresas.