大型语言模型中分类和层次概念的几何学 (arxiv.org)

这篇论文研究了语义如何在大型语言模型的表示空间中编码。研究发现，简单的分类概念表示为单纯形，层次相关的概念在某种意义上是正交的，复杂的概念则表示为由单纯形的直接和构成的多面体，反映了层次结构。这些理论结果在Gemma大型语言模型上得到了验证，使用WordNet的数据估计了957个层次相关概念的表示。