论文阅读——ST-LLM+: Graph Enhanced Spatio-Temporal Large Language Models for Traffic Prediction

论文概况

题目ST-LLM+: Graph Enhanced Spatio-Temporal Large Language Models for Traffic Prediction

通讯作者:Rui Zhao: zhaorui@sensetime.com

作者院校:南洋理工大学等

发表于:KDE 2025

代码仓库ST-LLM+ : Graph Enhanced Spatio-Temporal Large Language Models for Traffic Prediction

论文内容

概括总结

提出了用于交通预测的图增强型时空大型语言模型 ST-LLM+,利用部分冻结图注意力技术,将从交通网络中导出的空间位置邻接矩阵整合到经过校准的大型语言模型中,从而捕捉交通网络中复杂的时空依赖关系。

image-20250805202102483

将LLM 的前 F 层冻结,保留预训练阶段学习的全局依赖知识;后 U 层解冻并引入图注意力,通过邻接矩阵作为注意力掩码,建模交通领域特有的局部空间依赖。然后使用LoRA对 LLM 的注意力层进行微调保持场景适应性。