论文阅读——LLM Enhancers for GNNs: An Analysis from the Perspective of Causal Mechanism Identification

发表于 更新于 分类于 ， ， 本文字数： 464 阅读时长 ≈ 1 分钟

论文概况

题目：LLM Enhancers for GNNs: An Analysis from the Perspective of Causal Mechanism Identification

通讯作者： Fenge Wu： fengge@iscas.ac.cn

作者院校：清华大学等

发表于：arxiv

代码仓库：WX4code/LLMEnhCausalMechanism

论文内容

概括总结

基于互换干预法分析了LLM用作特征增强器来优化节点表示并作为GNN的输入的方法。根据分析结果设计了一个即插即用的优化模块来改善 LLM增强器与GNN之间的信息传递。

该模块首先使用 LLM 生成q个不同提示，然后从每组特征中均匀选取m个token特征，随后通过 Transformer 编码器计算每组子集的注意力矩阵，平均后得到归一化权重。基于权重加权融合所有子集中的特征，输出作为 GNN 的输入。

image-20250805202117765

问题

效果提升幅度有限，效率可能较低，但作为即插即用模块有一定效果。