图语言模型 (aclanthology.org)

这篇论文介绍了一种名为图语言模型（GLM）的新型语言模型，它结合了语言模型（LM）和图神经网络（GNN）的优势，以更好地处理图和文本数据。GLM 利用预训练的 LM 初始化参数，以增强对单个图概念和三元组的理解，并设计架构以结合图偏差，从而促进图内的有效知识分布。在关系分类任务上的实证评估表明，GLM 嵌入在监督和零样本设置中都优于基于 LM 和 GNN 的基线。