Webtagr - Sumário de Notícias de Tecnologia

A Hipótese da Representação Platônica: Rumo à Inversão Universal de Incorporação e Comunicação com Baleias

2025-07-18

Pesquisadores descobriram que grandes modelos de linguagem convergem para um espaço de representação subjacente compartilhado à medida que crescem, um fenômeno chamado de 'Hipótese da Representação Platônica'. Isso sugere que modelos diferentes aprendem os mesmos recursos, independentemente da arquitetura. O artigo usa o jogo 'Mussolini ou Pão' como uma analogia para explicar essa representação compartilhada e a suporta ainda mais com a teoria da compressão e a capacidade de generalização do modelo. Criticamente, com base nessa hipótese, os pesquisadores desenvolveram o vec2vec, um método para conversão não supervisionada entre espaços de incorporação de modelos diferentes, alcançando uma inversão de incorporação de texto de alta precisão. Aplicações futuras podem envolver a decodificação de textos antigos (como o Linear A) ou a tradução da linguagem das baleias, abrindo novas possibilidades para a compreensão entre línguas e o avanço da IA.

Escalonando RL: Predição do próximo token na Web

2025-07-13

O autor argumenta que o aprendizado por reforço (RL) é a próxima fronteira para o treinamento de modelos de IA. As abordagens atuais de escalonamento de vários ambientes simultaneamente são desorganizadas. Em vez disso, o autor propõe treinar modelos para raciocinar usando RL para predição do próximo token em dados em escala de web. Isso aproveita a vasta quantidade de dados da web prontamente disponíveis, indo além das limitações dos conjuntos de dados de treinamento RL atuais focados em problemas de matemática e código. Ao unificar RL com a predição do próximo token, a abordagem promete criar modelos de raciocínio significativamente mais poderosos.

O gargalo da IA: dados, e não algoritmos?

2025-06-30

A IA tem apresentado progressos incríveis, mas o ritmo parece estar diminuindo. Este artigo argumenta que as principais inovações da IA (DNNs, Transformadores, RLHF, modelos de raciocínio) não se originaram de algoritmos novos, mas sim do desbloqueio de novas fontes de dados (ImageNet, texto da web, feedback humano, verificadores). O autor sugere que as futuras inovações provavelmente virão não da inovação algorítmica, mas da utilização eficaz de novas fontes de dados, como vídeo e sensores robóticos, pois os conjuntos de dados existentes podem estar se aproximando de seus limites de conhecimento.