论文阅读——Harnessing explanations Llm-to-lm interpreter for enhanced text-attributed graph representation learning
论文概况
通讯作者：Bryan Hooi：bhooi@comp.nus.edu.sg
作者院校：新加坡国立大学、洛约拉马利蒙特大学、纽约大学、Meta AI
发表于：ICLR 2024
代码仓库：https://github.com/XiaoxinHe/TAPE
论文内容
引言
文本属性图（TAGs）广泛存在（如论文引用网络），但现有方法存在局限，本文核心创新为提出LLM生成的解释作为特征：
- 通过提示LLM输出预测标签和决策解释，提取其知识与推理能力。
- 设计 LLM-to-LM解释器，将文本解释转化为GNN可用的向量特征。
相关工作
- 浅层特征+GNN：使用skip-gram等算法提取文本浅层特征，然后用GCN等图学习算法，但问题在于浅层特征语义捕捉能力弱。
- 小型LM微调+GNN：使用BERT等语言模型进行特征编码，然后再使用GNN，但问题在于计算成本高，且缺乏复杂推理能力。
- LLM+图结构理解：虽然已有工作研究LLM对于图结构的理解，但未针对TAG任务优化。
定义
文本属性图
LM特征提取
LLM
图神经网络
论文方法
对于每一个论文，将摘要、标题、问题输入大模型，要求大模型预测的分类以及相应的解释。
微调LM来从LLM生成的预测和解释中提取特征用于后续的GNN。
大模型生成的预测使用独热编码，并线性变换拼接到特征向量中
分别利用orig（原始文本）、expl（LLM生成的解释）、pred（LLM生成的预测）特征来训练GNN模型，平均后作为预测结果
结果
复现
1 LLM Direct
