2026/4/15 6:22:21
网站建设
项目流程
开源商城app,seo网络推广外包公司,wordpress轮播图设置,域名地址查询文章#xff1a;Bridging Granularity Gaps: Hierarchical Semantic Learning for Cross-domain Few-shot Segmentation代码#xff1a;暂无单位#xff1a;南京理工大学引言在计算机视觉领域#xff0c;“少样本分割”一直是解决数据稀缺问题的核心技术——让AI通过少量标…文章Bridging Granularity Gaps: Hierarchical Semantic Learning for Cross-domain Few-shot Segmentation代码暂无单位南京理工大学引言在计算机视觉领域“少样本分割”一直是解决数据稀缺问题的核心技术——让AI通过少量标注样本就能学会分割新类别物体。但现实场景中训练数据源领域和实际应用数据目标领域往往差异巨大比如用鸟类图片训练的模型很难直接分割医学皮肤病变图或卫星遥感图这就是“跨域少样本分割CD-FSS”的核心挑战。一、问题背景跨域分割的“双重鸿沟”传统跨域少样本分割方法大多只关注解决“风格差异”——比如把自然照片风格转换成X光片风格。但研究者们发现还有一个关键问题被忽略了分割粒度差异。简单说源领域的前景比如鸟和背景差异明显属于“粗粒度分割”而目标领域的前景比如皮肤病变区域和背景差异极小更接近源领域中物体内部的细粒度差异比如鸟的羽毛颜色。这就导致一个尴尬的结果AI在源领域学会了“区分大类别”到了目标领域却连“相似物体的边界”都分不清。加上跨域带来的风格差异双重鸿沟让现有模型的分割精度大打折扣。二、方法创新HSL框架的“三重buff”为了同时解决风格差异和粒度差异研究者提出了分层语义学习HSL框架通过三个核心模块给AI装上“多维度感知能力”1. 双重风格随机化DSR给训练数据“换衣换景”前景风格随机化用图片中随机局部区域的风格调整前景物体的风格模拟目标领域中前景与背景差异小的场景不破坏图像核心语义。全局风格随机化通过随机卷积扰动整张图片的风格让AI适应不同领域的视觉差异比如从自然图到卫星图。两者结合让AI在训练时见过足够多的“风格变种”减少跨域适配的难度。2. 分层语义挖掘HSM让AI看懂“粗细不同的细节”利用多尺度超像素分割把图片分成大小不同的小区域引导AI同时关注“粗粒度类别差异”比如鸟 vs 背景和“细粒度细节差异”比如病变边缘 vs 正常皮肤。通过融合低-level细节特征颜色、纹理和高-level语义特征类别信息AI能自动挖掘不同粒度下的物体特征轻松适配目标领域的分割需求。3. 原型置信度调制阈值PCMT智能解决“模糊边界”当前景和背景过于相似时传统方法容易误判。PCMT模块会先计算AI对分割结果的“置信度”置信度高边界清晰用常规阈值分割置信度低边界模糊自动调整阈值精准区分相似区域。 彻底解决了跨域场景下的分割歧义问题。三、实验结果四大数据集全面领先研究者在卫星遥感图Deepglobe、皮肤病变图ISIC、胸部X光片Chest X-ray、自然图像FSS-1000四大目标领域数据集上做了测试结果亮眼1. 精度碾压现有方法用ResNet-50作为骨干网络时1-shot和5-shot设置下比当前最优的DRA方法分别提升3.37%和3.35%用ViT-B/16作为骨干网络时比最优的LoEC方法分别提升3.23%和1.89%在所有四大数据集上均取得当前最高的mIoU交并比分数。2. 效率与性能双优相比DRA方法HSL框架的可训练参数从59.3M降至17.2M计算量FLOPs从257.0G降至226.9G推理速度FPS从36.90提升至43.29实现了“更轻量、更快、更准”。3. 模块消融验证有效性单独关闭任何一个模块模型性能都会明显下降DSR提升泛化能力HSM增强粒度适配PCMT解决模糊分割三者缺一不可。四、优势与局限核心优势首次聚焦“分割粒度差异”填补了跨域少样本分割的技术空白无需目标领域数据微调训练后直接部署降低实际应用成本兼顾精度与效率参数少、速度快适合边缘设备部署适配多领域场景从医学影像到卫星遥感都能稳定发挥。现存局限超像素分割的尺度设置对性能有一定影响需要根据具体场景调优面对极端风格差异如抽象艺术图转医学图时性能提升空间有限低-level特征融合比例需手动设置尚未实现完全自适应。五、一句话总结HSL框架通过“风格适配粒度挖掘智能阈值”三重创新让AI仅靠少量源领域样本就能精准分割不同风格、不同粒度的跨域目标为医学影像分析、遥感图像解译等数据稀缺场景提供了高效解决方案。