企业官网建设流程全解析

电子商务网站建设 价格,线下广告宣传方式有哪些,网站demo 工具,分销商城系统的特点《任务门控多专家协作网络#xff1a;面向退化多模态图像融合》---- 来自东南大学朱鹏飞老师团队#xff0c;25年ICML#xff0c;一起学习一下吧#xff1a; github链接 一.摘要 多模态图像融合旨在整合来自不同模态的互补信息#xff0c;以增强救援、安防等应用中的感…《任务门控多专家协作网络面向退化多模态图像融合》----来自东南大学朱鹏飞老师团队25年ICML一起学习一下吧github链接一.摘要多模态图像融合旨在整合来自不同模态的互补信息以增强救援、安防等应用中的感知能力。然而现实世界中的成像往往面临退化问题 ——例如可见光成像中的噪声、模糊和雾霾以及红外成像中的条纹噪声 —— 这些问题会显著降低模型性能。为解决这些挑战我们提出了一种面向退化多模态图像融合的任务门控多专家协作网络TG-ECNet。该模型的核心在于任务感知门控与多专家协作框架任务感知门控分为两个阶段运行 —— 退化感知门控基于退化类型动态分配用于复原的专家组融合感知门控引导跨模态特征整合以平衡融合与复原任务间的信息保留。为实现这一目标我们设计了一种两阶段训练策略将复原与融合任务的学习统一起来。该策略解决了两个任务在信息处理中的固有冲突实现了一体化的多模态图像复原与融合。实验结果表明TG-ECNet 在多种复杂退化条件下显著提升了融合性能并提高了下游应用中的鲁棒性。点评看完摘要大概明白是做退化图像融合任务的主要创新点是任务门控的MoE这里的任务应该是一个是退化复原一个是融合结合MoE去做。 那么这个思路非常像VLM、VLA领域中的MoA的感觉。 那么还提到了解决两个任务在信息处理的固有冲突那就重点关注一下这一部分是怎么解决的。 总体读完摘要的感觉大致和之前的结合下游任务的融合应该差不多 只不过这一部分是用于退化图像结合图像复原去做然后用了MoE。二.Introduction多模态图像融合通过整合不同成像模态的互补信息Ma 等2019a; Zhang 等2021; Xu 等2022a; Liu 等2021, 2022b在救援、安防、监控等应用场景中发挥着关键作用Sun 等2022a; Liu 等2024。其中可见光模态提供丰富的纹理细节红外模态则能有效突出热目标。结合两种成像方式的优势可合成适用于全天候作业的融合图像Sun 等2022b; Liu 等2023; Zhao 等2023b; Cao 等2023; Liu 等2020进而提升复杂环境下应用的鲁棒性。然而真实场景中的多模态成像系统易受多种干扰因素影响而导致性能下降Tang 等2022b, 2023; Sun 等2024; Tang 等2024; Yi 等2024。具体而言红外传感器中负责捕获热信息的核心部件是焦平面阵列其不同列读出电路的偏置电压差异往往会导致红外图像中出现明暗交替的条纹噪声可见光成像则易受噪声、模糊、雾霭等多种干扰的混合退化影响。这些退化问题严重削弱了多模态图像的视觉质量如图 1 所示导致融合图像性能下降进而影响其在关键下游应用中的鲁棒性与有效性。图1退化多模态图像融合效果对比。针对多重退化的多模态图像本文提出的方法在复原与融合质量上均优于当前最优方法DRMFTang等人2024和Text-IFYi等人2024尤其在高亮区域能更好地保留细节并抑制噪声。为解决退化多模态图像融合问题一种直接的方法是将两项任务依次级联先对退化图像进行复原再对复原后的多模态图像执行融合操作。但该策略存在双重局限性一方面退化类型的多样性要求预先存储适用于多种退化场景的大量复原模型在应对复杂场景时成本极高Tang 等2022b, 2023; Sun 等2024另一方面两项任务之间的固有脱节会导致性能损耗 —— 旨在恢复退化信息的复原操作可能会无意间削弱对融合有益的特征而融合过程则可能将复原缺陷传递到最终结果中。当前主流方法如 DRMFTang 等2024和 Text-IFYi 等2024尝试通过扩散模型或文本引导机制将复原与融合整合到统一框架中以解决上述局限性。然而如图 1 所示这些方法在处理复杂多退化场景时能力不足融合效果欠佳难以适用于存在复杂退化的真实应用环境。在本研究中我们提出任务门控多专家协作网络TG-ECNet将退化多模态图像的复原与融合纳入同一框架。具体而言我们为退化处理阶段和融合阶段分别设计了任务感知门控模块其中退化感知门控通过自适应学习退化类型如噪声、模糊、雾霭、条纹噪声等利用一组专家模块选择最优处理路径确保基于输入特征的稳健复原同时融合感知门控通过多专家协作选择性聚合多模态特征筛选最具价值的互补信息以实现高质量融合。TG-ECNet 采用两阶段训练策略衔接图像复原与融合任务确保对复原目标和融合目标的均衡优化。该两阶段策略通过解耦学习过程最大限度减少任务间的干扰最终实现一体化的多模态图像复原与融合。这种统一框架不仅提升了融合质量还增强了模型在各类复杂退化场景下对下游应用的适应性。此外我们还构建了一个大规模退化图像复原与融合基准数据集 DeMMI-RF。本文的主要贡献如下提出退化多模态图像复原与融合的统一框架通过两阶段训练策略衔接不同任务在学习任务间关联信息的同时避免相互干扰实现一体化处理设计任务感知门控与多专家协作模块退化感知门控适配不同退化类型为图像复原选择最优专家组融合感知门控动态平衡融合与复原任务的信息保留以获得更优的融合性能构建大规模退化多模态图像融合基准数据集 DeMMI-RF包含超过 30,000 组不同退化类型的多模态数据涵盖无人机和驾驶视角场景。多数据集上的实验结果验证了该模型在复杂退化场景下的卓越性能及对下游应用的鲁棒性。点评讲出了大概的网络框架但是最大的问题在于没有提到是如何解决摘要中提到的“解决两个任务在信息处理的固有冲突”。他把退化和融合分成两阶段的但是实际上还是会存在多任务优化的固有冲突举例说明你恢复退化图像任务性能做到最好的不一定是综合对融合表现最优的退化和融合还是存在平衡的问题这个固有冲突并没有解决。 所以这篇文章更多的其实是提供了更优的 “冲突缓解方案”但并未从根本上 “消除” 多任务固有冲突其本质仍是在 “平衡” 而非 “解决” 冲突。三. Related Work3.1 多模态图像融合多模态图像融合通过整合不同模态如可见光、红外的互补信息生成更丰富的特征表征Ma 等2019a; Liu 等2024。深度学习推动了该领域的发展卷积神经网络CNNsZhang 等2020; Wang 等2022a; Sun 等2022b; Xu 等2022b和生成对抗网络GANsLiu 等2022a; Ma 等2019b能够直接从数据中学习融合规则。近年来的创新方法如注意力机制和基于 Transformer 的架构Tang 等2022c; Wang 等2022b通过建模长距离依赖关系和模态特异性特征进一步提升了融合性能。诸如 MGDNGuan 等2023等框架更是将融合任务中的子任务整合到统一体系中。然而现有大多数深度学习方法仅聚焦于融合过程本身却忽略了真实场景中普遍存在的噪声、模糊、雾霭等退化问题 —— 这一局限性显著降低了它们在实际应用中的鲁棒性和适用性。3.2 退化图像复原退化图像复原的目标是从退化输入中恢复高质量图像解决噪声、模糊、雾霭等问题。传统方法Xia 等2023多针对单一类型退化但真实场景中的退化往往是多种类型交织存在的。一体化图像复原旨在通过统一模型处理多种退化类型。近年来的研究进展借助特定任务学习Zamir 等2022或退化感知机制Li 等2022; Potlapalli 等2023; Cui 等2025实现了对不同退化类型的动态适配无需预先获取退化相关先验知识。但现有大多数方法仍局限于单模态图像或需将复原与融合任务分开处理无法有效应对多模态数据。尽管近期部分研究Tang 等2024; Li 等2024a尝试解决多模态融合中的质量问题如低光照、雾霭、噪声但仍受限于特定退化类型部分方法如 Text-IFYi 等2024和 Text-DiFuseZhang 等2024采用文本引导的复原方式却需要预先掌握退化信息另有部分方法如 AWFusionLi 等2024b仅适用于与天气相关的场景而Tang 等2025等方法则存在架构复杂、数据集规模有限等问题难以实现最优性能。相比之下本文提出的 TG-ECNet 构建了统一框架将复原与融合任务联合优化确保在真实场景中实现稳健且高质量的融合效果。四.Method3.1 整体架构本研究提出任务门控多专家协作网络TG-ECNet通过一体化方法解决多模态图像融合中的图像质量退化问题。该框架包含三部分核心组件用于特征提取与图像解码的 U 型 TransformerZamir 等2022、用于一体化图像复原的退化感知门控多专家协作模块以及用于自适应图像融合的融合感知门控多模态协作模块。此外模型采用两阶段训练策略以平衡复原与融合任务的学习过程。TG-ECNet 的架构如图 2 所示图2TG-ECNet网络架构示意图。TG-ECNet包含U形Transformer主干、退化感知门控模块、融合感知门控模块以及相应的多专家协同框架。将一对退化红外图像和退化可见光图像输入至补丁嵌入patch embedding和退化感知门控模块中提取特征随后将这些特征送入退化感知编码器与图像复原解码器得到复原后的红外图像II​和可见光图像IV​编码器与解码器的结构遵循 Zamir 等2022的设计需说明的是红外模态与可见光模态分支共享编码器和解码器权重在第二阶段解码器输出的特征FI​红外特征和FV​可见光特征同时送入融合分支最终得到融合图像IF​。3.2 任务感知门控与多专家协作模块如图 3 所示图3任务感知门控与多专家协同机制。任务感知门控与多专家协作模块是 TG-ECNet 的核心组件整合了两种关键机制以实现自适应复原与融合。第一种机制是退化感知门控部署于 U 型 Transformer 编码器中用于动态识别输入图像中的退化类型如可见光图像中的噪声、模糊、雾霭以及红外图像中的条纹噪声基于识别到的退化类型该模块生成任务特异性提示task-specific prompts引导模型选择适配的处理路径从而实现针对不同退化类型的自适应图像复原。第二种机制是融合感知门控应用于图像融合阶段核心是选择性聚合多模态特征如可见光与红外特征该模块基于各模态的相关性与互补性对其贡献度进行加权确保整合最具信息价值的特征最终输出高质量融合结果—— 这一机制保障了特征的有效整合使多模态融合既稳健又能保留两种输入源的关键信息。退化感知门控图像复原在第一阶段训练中TG-ECNet 针对退化图像可见光退化图像\或红外退化图像执行复原任务。模型首先通过退化感知门控机制根据输入图像的具体退化类型进行动态调整确保适配最优处理策略随后输入图像送入退化感知编码器该编码器采用多专家协作网络含 Transformer 块提取并优化与当前退化类型对应的特异性特征 —— 多专家机制通过选择最相关的专家模块学习不同图像特征以优化复原效果。处理可见光图像时特征提取完成后由 Transformer 块组成的解码器生成复原可见光图像并与干净的真实标签图像进行对比计算损失引导模型提升复原精度红外退化图像采用相同的复原流程最终生成复原红外图像。融合感知门控图像融合在第二阶段训练中TG-ECNet 聚焦于融合复原后的可见光与红外图像生成高质量融合结果。本阶段的输入为前一阶段输出的复原可见光特征和复原红外特征首先引入可学习权重参数引导多模态特征融合得到中间融合特征随后融合感知门控机制作用于解码器通过聚焦两种模态的关键相关特征增强融合效果—— 该门控机制能够选择性加权各模态的贡献度确保融合结果保留两种图像的核心信息接着模型采用多专家协作网络整合可见光与红外特征这种协作式融合方法确保两种模态特征的有效整合保留双方关键细节最终通过特征融合得到融合图像并与干净的真实融合标签图像对比计算损失以优化模型的融合能力确保融合结果兼具两种输入模态的最优特征。3.3 训练策略与损失函数为平衡复原与融合任务最小化优化过程中的相互干扰模型采用两阶段训练策略并结合多种损失函数进行训练第一阶段侧重复原训练首先训练网络处理单一模态的退化问题采用适配特定复原任务如去噪、去模糊的损失函数。本阶段的复原损失通过对比复原图像与对应干净真实标签图像计算得出此外引入梯度损失和负载损失损失函数形式遵循 Cao 等2023的设计第一阶段总损失如下第二阶段侧重融合训练复原任务训练完成后对网络进行融合任务微调。本阶段的融合损失通过对比融合图像与干净真实融合标签图像计算得出损失函数包含像素损失、梯度损失和融合负载损失形式遵循 Cao 等2023的设计第二阶段损失如下网络的最终总损失为第一阶段复原损失与第二阶段融合损失之和通过解耦学习过程确保复原与融合任务互不干扰最终实现一体化的图像复原与融合。评价“退化感知门控 融合感知门控 多专家协作” 的统一框架MoE设计的比较不错但根本上来说还是一个复原任务和融合任务的一个平衡本质上和现有的基于下游任务的融合没有区别包装的比较好。五.实验4.1 实验设置实现细节。 本文所有实验均在 6 块 NVIDIA GeForce RTX 4090 GPU 上进行模型使用 PyTorch 1.12.0 框架实现。在训练阶段我们使用 Adam 优化器优化网络初始学习率设为 1.0×10⁻⁴并采用余弦退火策略进行调整。此外我们将图像随机裁剪为 128 × 128 像素大小进行训练。在每个小批次中通过水平或垂直翻转图像进行数据增强以扩充训练样本量。我们在自建数据集和 EMS 数据集Yi 等人2024上进行了实验。我们在 6 种退化设置下训练了一个单一模型。第一阶段的训练过程持续了 30 个周期模型随后直接在多个复原任务上进行测试。第二阶段的训练过程持续了 30 个周期模型随后直接在多个复原与融合任务上进行测试。实验中专家数量 N 和所选专家数量 K 根据经验启发式地分别设置为 11 和 6。相关分析见附录 A.3。自建数据集详情。 现有的红外-可见光图像数据集很少考虑复杂的退化场景并且没有与低空无人机感知场景相关的多模态退化数据集。因此我们构建了一个多模态多退化图像数据集 DeMMI-RF涵盖了城市街景视角和低空无人机视角。我们的 DeMMI-RF 数据集包含 6 种退化类型高/中/低级别的高斯噪声、雾霾、散焦模糊和条纹噪声。数据集的典型案例展示在图 4 中包括了地面和无人机两种场景。DeMMI-RF 拥有 26631 个训练数据对和 9895 个测试数据对为退化图像融合提供了一个有力的基准。对比方法。 为了全面评估我们提出框架的性能我们在三个典型的图像复原任务上进行了实验图像去雾、去噪和去模糊。我们将我们的方法与三个先进的联合处理图像复原与融合的模型进行了比较AWFusionLi 等人2024b、DRMFTang 等人2024和 Text-IFYi 等人2024。这些比较旨在评估我们的模型在处理多种退化类型时的泛化能力。此外我们选择了六个图像融合模型DenseFuseLi Wu, 2018、SwinFuseWang 等人2022b、CDDFuseZhao 等人2023a、SeAFusionTang 等人2022a、MGDNGuan 等人2023和 EMMAZhao 等人2024用于进一步评估。由于这些模型缺乏固有的图像复原能力我们首先使用一体化图像复原框架 AdaIR 模型Cui 等人2025对退化图像进行预处理以得到复原后的图像然后将复原后的图像输入到上述融合模型中。4.2 在 DeMMI-RF 和 EMS 数据集上的复原与融合结果为了说明复原后图像在视觉上的差异图 5 展示了来自我们数据集的退化可见光-红外图像经过复原和融合后的结果。在 EMS 数据集上的更多结果见附录 A.2。与现有方法如 DenseFuse, CDDFuse, SeAFusion, MGDN, EMMA相比我们的 TG-ECNet 在融合过程中更好地保留了色彩信息。像AWFusion、Text-IF 和 DRMF 这样的复原-融合一体化模型在处理退化与融合任务时往往优先考虑融合从而限制了它们的复原性能。为了定量评估不同方法在恢复原始图像质量方面的性能我们使用了 CC、MSE、PSNR、Nabf 和 MS-SSIM 作为评估指标如表 1 所示。各任务的定量性能见附录 A.4。定量结果证实TG-ECNet 在去噪性能和结构保持方面始终表现优异。含噪声的退化可见光图像。 遵循标准的图像复原协议我们在中度、高强度和极端高斯噪声条件下评估性能。对于中度噪声图 5 第一行TG-ECNet 有效去除了噪声同时保留了结构细节在清晰度和信息保留方面优于 SeAFusion 和 EMMA。在高强度噪声下第二行大多数方法未能完全消除噪声显著降低了融合质量。在极端条件下第三行虽然 AWFusion 和 DRMF 表现出过度模糊CDDFuse 保留了噪声伪影但 TG-ECNet 保持了卓越的噪声抑制和细节保留能力实现了来自两种模态信息的最优融合。含雾霾的退化可见光图像。 在这个实验中我们采用了一个新颖的大气散射模型该模型会固有地降低图像亮度和对比度。该退化模型生成的图像具有降低的亮度、较低的对比度和轻微的颜色失真近似于真实世界的雾霾场景见 A.1。红外图像本身在亮度和对比度上就有限制在融合过程中加剧了这些问题导致基于级联的两阶段模型如 DenseFuse, SwinFuse, CDDFuse出现严重的颜色偏差。复原-融合一体化模型通常倾向于其中一个任务AWFusion 去除了雾霾但改变了颜色DRMF 优先考虑去雾而非红外融合Text-IF 倾向于融合而以牺牲去雾为代价。相比之下TG-ECNet 平衡了去雾和融合保留了可见光细节和红外信息从而获得了更清晰、更自然的结果。含散焦模糊的退化可见光图像。 在散焦模糊场景中我们的方法展示了有效捕获和恢复精细纹理细节的能力且在融合过程中没有损失去模糊效果。虽然基于级联的两阶段模型提供了一定程度的复原但由于红外图像固有的纹理清晰度较低它们在融合阶段的性能显著受损。这种退化导致最终融合结果的去模糊效果减弱如 SeAFusion 和 EMMA 所示其中仍有明显的残留模糊。复原-融合一体化模型也难以完全消除模糊尽管它们优于级联模型。然而与 TG-ECNet 相比它们的结果仍有不足。TG-ECNet 保持了显著更锐利、细节更丰富的融合输出证明了其在处理散焦模糊同时保持结构细节方面的有效性。含条纹噪声的退化红外图像。 条纹噪声是影响红外图像的一种特定退化类型传统图像复原模型在去除此类噪声方面表现不佳。同样复原-融合一体化模型往往倾向于优先处理复原或融合中的一项。例如DRMF 专注于去除条纹噪声但同时消除了大量有用的红外细节导致融合结果不自然。相反Text-IF 优先考虑图像融合导致噪声去除不彻底。TG-ECNet 实现了更好的权衡有效抑制了条纹噪声同时保留了红外图像的精细细节从而获得了更干净、信息更丰富的融合结果。从这些实验设置可以明显看出TG-ECNet 通过在不同退化类型下保持稳定的复原效果始终优于其他方法。现有先复原后融合的级联方法通常表现不佳导致噪声增强或关键图像信息丢失。与现有方法不同TG-ECNet 有效平衡了这两项任务展现出对复杂退化条件的强大适应能力并确保了卓越的融合质量。4.3 消融研究在这个实验中我们通过一系列消融研究调查了不同组件对特定任务复原和融合性能的影响。结果总结在表 3 中该表展示了平均噪声σ 15, 25, 50和条纹噪声场景下的性能指标。不包含任务感知门控。 第一个消融研究考察了移除任务感知门控的影响该门控用于指导特定任务的复原过程和多模态图像融合过程。在此配置下模型在没有任务感知门控的情况下运行这可能导致在融合和复原阶段的特定任务引导次优。如表 3 所示模型在 CC、MSE、PSNR 和 MS-SSIM 指标上表现稍差因为任务提示在引导网络针对每个特定任务实现最优复原方面起着重要作用。不包含多专家模块。 我们进行了三种没有专家模块的比较实验即移除复原专家模块、融合专家模块以及同时移除两者这些模块负责专家选择和任务适应。这样做模型就失去了为每个任务选择性选择最合适专家的能力可能导致性能下降。结果表明移除多专家块对性能有轻微的负面影响PSNR 和 MS-SSIM 有所降低这表明多专家块在引导模型为每个任务选择最有效专家方面起着关键作用。Nabf 的下降进一步支持了在微调复原和融合中专家选择的重要性。在这三种设置中可以看出复原专家块对整体性能更为重要而融合专家块对性能有轻微优化。不包含两阶段训练策略。 最后我们通过将其与单阶段网络进行比较考察了两阶段训练策略的效果。在这个实验中两阶段训练策略包括首先训练复原网络然后冻结其部分参数同时使用融合模块生成融合复原结果。这种分阶段方法确保了复原和融合任务之间更好的平衡。结果表明两阶段训练策略在 CC、PSNR 和 MS-SSIM 方面略优于单阶段网络证实了在融合阶段冻结某些参数有助于提高融合质量。尽管 Nabf 的差异很小但两阶段策略被证明是实现特定任务复原和融合的更有效方法。4.4 讨论多退化场景一体化图像融合。 在这个实验中我们通过组合多种退化类型进行复原和融合将评估扩展到更复杂的场景。除了单退化任务我们还测试了模型在混合退化任务上的性能并将我们的复原-融合一体化模型与其他方法进行比较。实验总共涵盖了 9 种不同的退化组合这些组合源自相同场景。我们还设置了其他 8 种场景可在我们的 DeMMI-RF 数据集中找到。然而表 2 中仅展示了最具挑战性的设置其余组合见附录 A.6。如表 2 所示TG-ECNet 在所有方法中表现最佳。对于 Noise50 散焦模糊 雾霾 条纹噪声的条件TG-ECNet 实现了更高的 PSNR、Nabf 和 MS-SSIM表明其在复原和融合方面都具有优越性能。在图 6 的可视化结果中大多数方法未能消除所有退化导致融合结果的图像质量较差。值得注意的是Text-IF 抑制了模糊和雾霾但无法同时去除噪声。DenseFuse 遭受了显著的可见光谱信息损失。相比之下TG-ECNet 展示了卓越的退化抑制能力同时有效保留了精细细节确保了红外和可见光信息都得到了有意义的融合。无退化场景图像融合。 为了验证实验在常规图像上的优秀融合效果我们选择了一些无退化的数据并直接将其与所有图像融合算法进行比较。实验结果如表 2 所示。基于我们的实验框架我们采用两阶段评估过程来评估对比融合算法。这种方法要求在融合前图像需通过预处理网络进行复原引入了级联处理流程。然而这种顺序架构不可避免地导致信息逐级衰减性能指标定量地证明了这一点。复原-融合一体化模型未考虑这种情况因此获得的性能相对较弱。TG-ECNet 在所有指标上都有适度的提升。真实世界退化场景图像融合。 为了验证模型在真实数据上的有效性我们使用真实采集的数据 AWMMLi 等人2024b进行测试定性结果如图 8 所示。TG-ECNet 的结果有效抑制了雾霾使图像更清晰同时融合了红外信息整体效果非常接近数据提供者 AWFusion 的结果。4.5 检测与分割评估检测评估。 我们将十个模型生成的实验结果输入 YOLOv5 模型同时输入退化的输入图像和干净图像。数据集按 7:3 的比例划分为训练集和测试集训练 50 个周期图像分辨率为 640×640。检测指标如表 4 所示。我们的方法在平均精度均值mAP和 AP(0.5:0.95) 方面达到了最先进的性能优于所有对比方法。这证明了我们的框架在各种退化条件下准确检测和定位物体的有效性。在这些指标上的卓越性能凸显了我们方法的鲁棒性和泛化能力。分割评估。 我们将十个模型生成的实验结果输入 Grounded-SAM 模型Ren 等人2024使用 Grounded-SAM 的预训练模型参数并选择“汽车”作为图 7 所示图像的提示词以获得分割结果。如图 7 所示除了 AWFusion 外几乎所有其他方法都将交通信号灯或电动自行车错误地分割为汽车。此外SwinFuse、AwFusion 和 DRMF 无法分割出两辆汽车。然而我们成功地分割出了两辆汽车的清晰轮廓并且没有将它们混在一起。点评实验非常丰富涵盖复原和融合两个任务。但是核心缺陷还是存在不公平的对比因为做图像复原融合的网络其实就找了三个找了六个纯做融合的但是定性的比较就显得很不公平因为其他不做复原任务的在退化图像上的性能肯定是差因为没在退化图像上训过。这就好比做分割融合任务的网络比指标不和同样做分割融合的去比而是和纯做融合、没经过分割下游训练的去比即便你是更好的但是可信度不足。5. 结论我们提出了任务门控多专家协同网络TG-ECNet一种用于处理退化多模态图像融合的新型框架。TG-ECNet 将图像复原与融合统一到一个端到端的单一模型中解决了由噪声、模糊、雾霾和条纹噪声等多种退化组合带来的挑战。其核心创新在于其任务感知门控机制该机制在编码器中集成了退化感知门控在解码器中集成了融合感知门控从而能够适应多样化的退化类型。多专家协同框架与两阶段训练策略共同确保了任务的均衡优化。在多个基准数据集上的实验表明TG-ECNet 性能优于现有先进方法显著提升了在复杂挑战性环境下的图像融合质量与系统鲁棒性。