La asombrosa capacidad de incrustación del GPT-3: Geometría de alta dimensión y el lema de Johnson-Lindenstrauss

Esta entrada de blog explora cómo los modelos de lenguaje grandes como GPT-3 acomodan millones de conceptos distintos en un espacio de incrustación relativamente modesto de 12.288 dimensiones. A través de experimentos y el análisis del Lema de Johnson-Lindenstrauss, el autor revela la importancia de las relaciones vectoriales "casi ortogonales" en la geometría de alta dimensión y los métodos para optimizar la disposición de los vectores en los espacios de incrustación para aumentar la capacidad. La investigación descubre que, incluso teniendo en cuenta las desviaciones de la ortogonalidad perfecta, el espacio de incrustación del GPT-3 posee una capacidad asombrosa, suficiente para representar el conocimiento y el razonamiento humanos.