【论文推荐|深度学习；迁移学习；滑坡制图；青藏高原】一种可迁移滑坡制图的分割模型通用适配器——A universal adapter（七）

【论文推荐|深度学习；迁移学习；滑坡制图；青藏高原】一种可迁移滑坡制图的分割模型通用适配器——A universal adapter（七）

欢迎铁子们点赞、关注、收藏！
祝大家逢考必过！逢投必中！上岸上岸上岸！upupup

大多数高校硕博生毕业要求需要参加学术会议，发表EI或者SCI检索的学术论文会议论文：
可访问艾思科蓝官网，浏览即将召开的学术会议列表。会议详细信息可参考：https://ais.cn/u/EbMjMn

论文地址：https://doi.org/10.1016/j.isprsjprs.2024.11.006

一种可迁移滑坡制图的分割模型通用适配器

5. 讨论

5.4 滑坡特征分析

在遥感分割中，目标的光谱特征、尺度和形状是模型需要考虑并提取的关键特征（Li et al., 2018; Minaee et al., 2021; Zhang et al., 2016）。研究人员已探索这些特征的统计模式，旨在将其应用于广泛的区域尺度（Casagli et al., 2023; Taylor et al., 2018; Tebbens, 2020）。在充分的滑坡样本支持下，本文从遥感和模型输出的角度，对这三种特征进行了定量分析。

滑坡引起的植被破坏暴露出土壤和岩石，导致遥感图像中亮度增加（Martha et al., 2012）。其光谱特征与地质组成、植被覆盖和水分含量等因素有关（Xu et al., 2023）。具体来说，不同矿物在短波红外（SWIR）波段呈现出不同的光谱吸收特征（Notesco et al., 2016）。植被破坏显著降低了滑坡区域在近红外（NIR）波段的反射率（Xiang et al., 2023）。增加的水分则增强了滑坡在SWIR波段的吸收特征（Yue et al., 2019）。与植被覆盖区域相比，滑坡区暴露的岩石和土壤在可见光、NIR和SWIR波段的反射率存在显著差异（图5和6）。因此，本文选取了集成这三个波段的代表性BSI指数来分析滑坡的光谱特征。

滑坡的光谱特征

图13展示了不同滑坡光谱特征下，样本预测结果、样本密度和mIoU准确度的变化。在特征提取过程中，模型旨在优化前景物体与背景的分离，光谱特征尤为重要（Ma et al., 2021）。因此，我们通过滑坡与背景之间的平均BSI比率来量化所有滑坡样本的光谱差异。如图13a所示，我们选择了一组典型的滑坡样本，并根据BSI比率进行排序。随着BSI比率的增加，滑坡区域在遥感图像中呈现出比背景更亮的特征。在滑坡密度方面（图13b），大部分滑坡位于较低的BSI比率范围（1.2–1.6），表明它们更容易受到背景干扰。在分割准确度方面（图13c），mIoU随着BSI比率的增加呈现出略微上升的趋势，最终趋于稳定。具有较高BSI比率的样本虽然密度较低（或样本数量较少），但其光谱特征更为突出，有助于保持较为稳定的准确度。这表明，模型在分割光谱对比度较强的滑坡时表现更好，即使训练时样本数量较少。基于模型的输出和分割结果，低BSI比率的样本容易受到背景干扰，且具有较弱光谱特征的滑坡区域（输出层中的浅红色像素）未能正确识别为滑坡（结果层中的绿色像素）。

滑坡的尺度特征

滑坡作为跨尺度的地质事件，其规模频率分布遵循幂律函数（Brunetti et al., 2009）。大多数滑坡的规模较小，而大规模滑坡事件则相对较少。如图1c和图14b所示，本研究中滑坡规模与频率（或密度）的关系符合inverse Gamma函数，与以往研究一致（Malamud et al., 2004）。图14b和c中，滑坡的mIoU准确度与样本密度呈现类似趋势，极端尺度的滑坡准确度较低。一种可能的原因是非常大或非常小尺度的滑坡样本数量不足，导致数据驱动模型的训练不充分。更重要的是，小尺度滑坡可能缺乏足够的识别信息，而大尺度滑坡的复杂纹理和光谱信息可能导致误识别。由于遥感目标的多尺度特性，许多模型采用多尺度特征提取结构来解决这一问题（Li et al., 2024a; Wang et al., 2024）。如图14a中的模型输出和分割结果所示，小尺度滑坡更容易受到背景干扰，而大尺度滑坡则在边界处表现出较大的误差。

滑坡的形状特征

滑坡具有多样的形状，取决于不同的运动过程（Hungr et al., 2014），这些形状在遥感图像中表现为边界曲率、椭圆度和边缘锐度的差异。尽管滑坡的边界可能不规则或破碎，但整体形状仍然表现出明显的特征（Li et al., 2022）。考虑到神经网络在分割过程中提取和利用边缘特征（Chen et al., 2024），我们通过滑坡样本的边缘密度来量化其形状特征。边缘密度计算为样本中边缘像素与总像素的比率。如图15b和c所示，与滑坡的规模相比，滑坡边界密度在滑坡样本中分布相似，对mIoU准确度的影响也类似。这可能与滑坡边界与其规模之间的密切关系有关（图15a）。小尺度滑坡的边界密度较低，含有较少的分割信息；大尺度滑坡具有更复杂的边缘特征，导致分割性能较差，尤其是在边界和密集目标区域。

5.5 局限性与未来工作

尽管所提出的方法在可转移的滑坡制图中取得了良好效果，但在大模型的微调过程中，我们的数据集仍然不足。需要收集更多的滑坡样本，特别是共震滑坡区域。此外，我们的方法还需要通过更多最先进的模型进行测试，尤其是大规模模型。

滑坡的光谱、形状和尺度特征的表达与遥感图像的空间和光谱分辨率密切相关。在对不同分辨率的遥感图像进行滑坡分割时，这一关系需要考虑。此外，在设计模型时，应进一步增强光谱特征和多尺度特征的提取。

SAM在自然图像分割中展现了强大的能力，代表了当前图像分割的前沿进展。我们期待利用更大的数据集来全面微调SAM的编码器和解码器。此外，伪标签等半监督学习策略也是值得进一步研究的方向，旨在解决高质量标注样本不足的问题。

6. 结论

本文提出了一种通用适配器，用于高效地将预训练模型迁移至滑坡映射任务中。与全量微调方法相比，通过仅更新添加的适配器，本迁移策略大幅降低了训练成本。为验证适配器模块的有效性，本文构建了喜马拉雅山和横断山的数据集，选择了经典基准模型，并应用了四种迁移策略进行对比实验。**实验结果表明，在横断山数据集上，添加适配器的模型相比于无微调策略（None Tune），其准确率提高了2.6%至12.9%。与全量微调（Full Tune）或重新训练（Re-Train）策略相比，ViT-B/L模型的性能提升显著，至少提高了2.5%。**在模型架构方面，具有Transformer结构的模型更适合进行参数微调。值得注意的是，预训练于自然图像的SAM模型仅通过调整适配器的参数，达到了82.3%的最高mIoU。此外，定性分割图像表明，使用适配器的模型在漏检和误分类方面较少。上述实验结果表明，相较于其他迁移策略，我们的方法在降低计算成本的同时，能够达到甚至超越其性能。

我们进一步分析了每一层的特征，并评估了调整参数对模型性能的影响。结果表明，微调浅层可以取得较好的性能，因为这些层对应的是较细的特征且参数较少。此外，我们通过可视化特征图探讨了适配器的优势。图示显示，适配器能够有效提取滑坡特征，并且随着层次的加深，注意力逐渐扩展到全局，专注于滑坡区域。我们还研究了适配器瓶颈比率对模型性能的影响。较大的瓶颈比率可以提高准确率，但超过0.25后趋于稳定或下降。最后**，我们分析了滑坡的光谱、尺度和形状特征**，并评估了它们对模型性能的影响。结果表明，较强的光谱差异有助于提高准确性，而极端尺度和边界形状则对滑坡分割产生负面影响。

综上所述，适配器在上述所有实验中均优于其他策略，并且仅需调整少量参数。这证明了其在滑坡分割任务中的迁移应用效果。

欢迎铁子们点赞、关注、收藏！
祝大家逢考必过！逢投必中！上岸上岸上岸！upupup

大多数高校硕博生毕业要求需要参加学术会议，发表EI或者SCI检索的学术论文会议论文：
可访问艾思科蓝官网，浏览即将召开的学术会议列表。会议详细信息可参考：https://ais.cn/u/EbMjMn