使用图神经网络构建遥感时空预测模型，性能提升显著

何从时间序列卫星影像（SITS），此海量数据中高效、智能地提取知识，一直是遥感领域面临的核心挑战。

传统的像素级分析方法在处理如此庞大、复杂的数据时常常显得力不从心。

近日刷到法国科学家的一篇研究：

《On the use of Graphs for Satellite Image Time Series》（论图在卫星影像时间序列中的应用）

这篇论文系统地提出并论证了一种创新有意思的解决方案：

将时间序列卫星影像（SITS）构建成时空图（Spatio-temporal Graph），并利用图和图神经网络（GNNs）进行分析。

核心思想：从像素到图，重塑时空分析框架

论文的核心在于提出了一个通用的、基于图的SITS分析pipeline，旨在回答三个关键问题 ：

1、如何高效地用图来为SITS建模？

2、如何从这些图中提取有效信息？

3、如何针对具体应用调整该流程，解决实际的遥感问题？

这个流程将密集、规则的影像数据立方体，转换为一个结构化的、以“对象”为核心的交互网络，极大地提升了计算和分析效率。

如下图所示，该流程主要分为两个核心阶段：

从SITS到图的构建

识别影像中的地理实体（如地块、建筑物、水体），将其作为图中的节点（Nodes）；然后定义并建立这些实体间的空间和时序关系（Edges）。

从图到具体任务的应用

利用构建好的时空图，执行可视化分析、模式挖掘、地物分类、动态预测等下游任务 。

图的构建

论文详细探讨了图构建中的三大要素：节点、特征和边。

1、 节点的定义：万物皆对象

图的节点是对真实世界现象的抽象。如何从影像中定义这些“对象”节点，论文给出了基于分割的同质区域、基于光谱相似性的像素簇、像素即对象等多种策略。

2、节点特征的提取

定义了节点后，需要给每个节点赋予描述其特性的特征。论文总结了两大类方法：人工特征、学习特征两种。

3、边的构建

边是图的灵魂，它定义了对象之间的相互作用。论文将其分为两类：

空间关系：描述同一时刻不同对象间的关系，比如拓扑、距离等

时空关系:描述不同时刻对象间的演化关系，如空间重叠、周期性连接等

模型验证

使用了两个数据集进行实验。

精细化动态土地覆盖制图

第一个数据集是DynamicEarthNet，包含75个SITS，每个SITS由多光谱图像组成，空间分辨率为3米，时间分辨率为每日。

在DynamicEarthNet数据集上，GraphSAGE模型在IoU）和OA指标上优于其他模型，特别是在农业、水域和不透水表面类别上表现突出。

尽管图的预处理需要时间，但一旦构建完成，GNN模型的训练速度远快于像素级的U-Net模型，参数量也大大减少，展现了在处理大规模数据时的效率优势。

虽然优势明显，但当前简单的图构建和特征提取方式，使得图方法的精度仍略低于成熟的像素级深度学习模型（如U-Net）。这表明，图方法在对象分割、特征工程和模型架构等方面仍有巨大的优化空间 。

基于GNN的水资源预测

利用历史SITS预测未来水体指数（NDWI）的动态变化。

第二个数据集是SEN2DWATER，包含3682个SITS，每个SITS由64x64像素的图像组成，时间分辨率约为两个月。

该图模型在多项预测精度指标（如RMSE, PSNR）上均优于包括ConvLSTM在内的传统时序预测模型，证明了其捕捉复杂时空动态的能力。

相比于传统模型，图模型能更好地预测非季节性的水体浊度变化，展现了其学习复杂物理过程的潜力。

小结

论文展示了基于图的pipeline在处理时间序列卫星图像方面的潜力和灵活性。

通过将SITS数据建模为图结构，并结合空间和时间关系，图pipeline能够更好地进行下游任务分析。实

验结果表明，模型在分类和预测任务中表现出色，特别是在处理复杂的数据关系和大规模数据时具有优势。

往期推荐：