团队石文旭博士在《IEEE TGRS》上发表相关研究《PanDiff: A Novel Pansharpening Method Based on Denoising Diffusion Probabilistic Model》，研究提出了一种一种基于去噪扩散概率模型的新型全色锐化方法，旨在通过融合高空间分辨率全色（PAN）图像和低空间分辨率多光谱（LRMS）图像来恢复高空间分辨率多光谱图像。
摘要
全色锐化是众多遥感下游任务的关键图像处理技术，旨在通过融合高空间分辨率全色（PAN）图像和低空间分辨率多光谱（LRMS）图像来恢复高空间分辨率多光谱图像。目前主流的全色锐化融合框架通过提取关键特征，直接学习从PAN和LRMS图像到高分辨率多光谱（HRMS）图像的映射关系。然而，我们提出了一种基于去噪扩散概率模型（DDPM）的新型全色锐化方法PanDiff，该方法从新的角度学习HRMS和插值MS（IMS）图像之间差异图（DM）的数据分布。具体来说，PanDiff将PAN和LRMS图像的复杂融合过程分解为多步马尔可夫过程，并利用U-Net从随机高斯噪声中重建该过程的每一步。值得注意的是，PAN和LRMS图像作为在PanDiff中引导U-Net的注入条件，而不是像其他PanSharpization方法那样成为融合对象。此外，我们提出了一个模态互标模块（MIM）来增强PAN和LRMS图像的引导效果。实验是在免费提供的基准数据集上进行的，包括GaoFen-2，QuickBird和WorldView-3图像。融合和泛化试验的实验结果有效地证明了PanDiff优异的融合性能和高鲁棒性。给出了所提方法在不同场景下的结果。此外，消融实验证实了PanDiff构建背后的基本原理。
访问链接：