O gargalo da exploração em LLMs: A próxima fronteira da coleta de experiências
O sucesso dos grandes modelos de linguagem (LLMs) depende do pré-treinamento em massa em grandes quantidades de dados de texto, um recurso que eventualmente será esgotado. O futuro da IA mudará para uma "Era da Experiência", onde a coleta eficiente do tipo certo de experiência benéfica para a aprendizagem será crucial, em vez de simplesmente empilhar parâmetros. Este artigo explora como o pré-treinamento implicitamente resolve parte do problema de exploração e como uma melhor exploração leva a uma melhor generalização. O autor propõe que a exploração consiste em dois eixos: "amostragem do mundo" (escolhendo ambientes de aprendizagem) e "amostragem de trajetória" (recolhendo dados dentro dos ambientes). A futura escala da IA deve otimizar a densidade de informações nesses dois eixos, distribuindo eficientemente os recursos computacionais em vez de simplesmente buscar escala de parâmetros ou volume de dados.