Capacidade Assombrosa de Incorporação do GPT-3: Geometria de Alta Dimensão e o Lema de Johnson-Lindenstrauss

Esta postagem de blog explora como modelos de linguagem grandes como o GPT-3 acomodam milhões de conceitos distintos em um espaço de incorporação relativamente modesto de 12.288 dimensões. Por meio de experimentos e análise do Lema de Johnson-Lindenstrauss, o autor revela a importância dos relacionamentos vetoriais "quase ortogonais" na geometria de alta dimensão e métodos para otimizar o arranjo de vetores em espaços de incorporação para aumentar a capacidade. A pesquisa descobre que, mesmo levando em consideração desvios da ortogonalidade perfeita, o espaço de incorporação do GPT-3 possui uma capacidade surpreendente, suficiente para representar o conhecimento e o raciocínio humanos.