Vislumbres sobre a Estrutura de Incorporações Neurais

Este artigo explora a estrutura das incorporações (espaços latentes) produzidas por redes neurais profundas. Vários hipóteses-chave são resumidas: a Hipótese da Variedade (dados de alta dimensão residem em uma variedade de baixa dimensão); Organização Hierárquica (as características se organizam hierarquicamente entre as camadas); Hipótese Linear (as redes neurais representam características como direções lineares em seu espaço de ativação); Hipótese de Superposição (as redes neurais representam mais características independentes do que uma camada possui neurônios); Hipótese de Universalidade (os circuitos reaparecem em diferentes modelos para os mesmos dados); Vulnerabilidade Adversarial (pequenas mudanças na entrada causam grandes mudanças na incorporação); e Colapso Neural (após o treinamento, as características da classe se agrupam firmemente em torno de suas médias). Essas hipóteses coletivamente iluminam a complexidade e as limitações potenciais das incorporações de redes neurais profundas.