论文阅读——ST-LLM+: Graph Enhanced Spatio-Temporal Large Language Models for Traffic Prediction
论文概况
题目:ST-LLM+: Graph Enhanced Spatio-Temporal Large Language Models for Traffic Prediction
通讯作者:Rui Zhao: zhaorui@sensetime.com
作者院校:南洋理工大学等
发表于:KDE 2025
代码仓库:ST-LLM+ : Graph Enhanced Spatio-Temporal Large Language Models for Traffic Prediction
论文内容
概括总结
提出了用于交通预测的图增强型时空大型语言模型 ST-LLM+,利用部分冻结图注意力技术,将从交通网络中导出的空间位置邻接矩阵整合到经过校准的大型语言模型中,从而捕捉交通网络中复杂的时空依赖关系。
将LLM 的前 F 层冻结,保留预训练阶段学习的全局依赖知识;后 U 层解冻并引入图注意力,通过邻接矩阵作为注意力掩码,建模交通领域特有的局部空间依赖。然后使用LoRA对 LLM 的注意力层进行微调保持场景适应性。