Making Large Language Models Perform Better in Knowledge Graph Completion

发表于 2025-10-16 分类于论文阅读，大模型， KGQA 本文字数： 1.9k 阅读时长 ≈ 4 分钟

ACM MM2024

该论文聚焦于解决大语言模型（LLM）在知识图谱补全（KGC）中忽视结构信息的核心问题，提出了融合图谱结构信息的新方法，显著提升了LLM的结构感知推理能力。

知识图谱补全的重要性：知识图谱（KG）以（头实体，关系，尾实体）三元组形式存储知识，广泛应用于推荐系统、问答等领域，但存在大量缺失三元组，需通过KGC任务预测补充。
现有LLM-based KGC的缺陷：
- 未充分利用LLM的推理能力，且忽略KG关键的结构信息（如子图结构、关系模式）。
- 现有方法（如零样本推理ZSR、指令微调IT）将KGC转化为文本预测，易导致LLM的“幻觉”问题，且无法有效融入非文本的结构信息。

论文提出两类方法：一是改进现有LLM范式以融入结构信息，二是提出全新的Knowledge Prefix Adapter（KoPA）框架。

通过文本形式将KG局部结构信息融入现有范式，作为基础模型。

通过跨模态映射将KG结构信息高效融入LLM，解决文本形式的缺陷，分为两步：

步骤1：结构嵌入预训练：
- 借鉴基于嵌入的KGC方法（如RotatE），通过自监督学习（负采样+得分函数），将实体和关系编码为结构嵌入，捕捉KG的子图结构、关系模式等信息。
- 定义得分函数(F(h, r, t))衡量三元组合理性，最小化损失函数优化嵌入：(\mathcal{L}{pre} = \frac{1}{|\mathcal{T}|}\sum{(h,r,t)\in\mathcal{T}}(-log\sigma(\gamma - F(h,r,t)) - \sum_{i=1}^{K}p_i log\sigma(F(h_i’,r_i’,t_i’) - \gamma)))。
步骤2：知识前缀适配器：
- 设计投影层（适配器），将结构嵌入映射到LLM的文本表示空间，生成“虚拟知识令牌”。
- 将虚拟令牌作为前缀插入输入序列（(S_{kpa} = \kappa \oplus I_{it} \oplus X)），利用LLM的单向注意力机制，让后续文本令牌感知结构信息，同时避免文本冗余（前缀长度固定为3，远短于文本描述）。

数据集：3个公开KG基准（UMLS、CoDeX-S、FB15K-237N），均为平衡的正负样本三元组。
基线模型：分为三类——基于嵌入的方法（TransE、RotatE等）、基于预训练语言模型（PLM）的方法（KG-BERT、PKGC）、基于LLM的方法（ZSR、ICL、IT、KGLLaMA）。
评价指标：三元组分类任务的准确率（Acc）、精确率（P）、召回率（R）、F1分数。

主实验性能：KoPA在所有数据集上均超越16个基线模型，以CoDeX-S为例，Acc提升1.81%，F1提升1.85%；在FB15K-237N等复杂数据集上，显著优于RotatE等嵌入方法。
迁移能力验证：在“归纳设置”（测试集中含训练未见过的实体）下，KoPA在不同归纳率（IR=10%-40%）下，对未见过实体的三元组预测性能优于结构感知IT，且性能下降更少，证明结构嵌入的跨实体迁移性。
消融实验：
- 移除结构嵌入或替换为随机嵌入，性能显著下降；使用更强的结构嵌入（如RotatE）比弱嵌入（如DistMult）效果更好，验证结构信息的重要性。
- 虚拟令牌放在前缀位置的效果（Acc=82.74）远优于中缀（81.21）和后缀（77.29），证明单向注意力下前缀位置的有效性。
泛化能力保留：在MMLU基准测试中，KoPA微调后LLM的通用能力未大幅下降，且在与KG领域相关的科目（如医学、生物）上性能提升（如UMLS训练后，临床科目Acc+3.0%）。

核心结论：通过结构嵌入预训练+知识前缀适配器，KoPA能高效将KG结构信息融入LLM，解决现有方法的文本冗余和结构感知不足问题，显著提升KGC性能。
未来方向：
- 设计统一框架，用LLM完成所有KGC子任务（如实体预测、关系预测）。
- 探索KG在LLM下游应用中的灵活适配，提升LLM的可靠性和实用性。