Questionando o Otimismo Representacional: A Hipótese da Representação Fragmentada e Emaranhada
Esta pesquisa questiona a suposição otimista no aprendizado profundo de que maior escala necessariamente implica melhor desempenho e melhores representações internas. Ao comparar redes evoluídas por meio de um processo de busca aberto com redes treinadas por SGD convencional em uma tarefa simples de geração de imagens, os pesquisadores descobriram que as redes treinadas por SGD exibem 'representações fragmentadas e emaranhadas' (FER), caracterizadas por atividade neuronal desorganizada que prejudica a generalização, a criatividade e a aprendizagem contínua. As redes evoluídas, em contraste, mostram uma representação mais unificada e fatorada, sugerindo que abordar a FER pode ser crucial para o avanço do aprendizado de representação e a construção de sistemas de IA mais robustos.