Modelo de IA de 6 dólares sacude el panorama de LLM: Presentamos S1
Un nuevo artículo revela S1, un modelo de IA entrenado por solo 6 dólares, logrando un rendimiento cercano al estado del arte, mientras se ejecuta en un portátil estándar. El secreto radica en su ingenioso método de 'escalamiento del tiempo de inferencia': al insertar comandos 'Esperar' durante el proceso de pensamiento del LLM, controla el tiempo de pensamiento y optimiza el rendimiento. Esto refleja la técnica Entropix, ambas manipulando estados internos del modelo para mejorar. La frugalidad extrema de datos de S1, utilizando solo 1000 ejemplos cuidadosamente seleccionados, produce resultados sorprendentemente buenos, abriendo nuevas vías para la investigación en IA y generando debates sobre la destilación de modelos y la propiedad intelectual. El bajo coste y la alta eficiencia de S1 señalan un ritmo más acelerado del desarrollo de la IA.
Leer más
