AMD presenta Instella: una familia de modelos de lenguaje abiertos con 3 mil millones de parámetros
AMD ha anunciado Instella, una familia de modelos de lenguaje de última generación totalmente abiertos, con 3 mil millones de parámetros, entrenados desde cero en GPUs AMD Instinct™ MI300X. Los modelos Instella superan a los modelos totalmente abiertos existentes de tamaño similar y logran un rendimiento competitivo en comparación con modelos de peso abierto de vanguardia, como Llama-3.2-3B. AMD está lanzando código abierto para todos los artefactos del modelo, incluidas las ponderaciones, las configuraciones de entrenamiento, los conjuntos de datos y el código, para fomentar la colaboración y la innovación en la comunidad de IA. Los modelos utilizan técnicas de entrenamiento eficientes y un pipeline de entrenamiento de varias etapas.
Leer más