2026/1/19 21:42:42
网站建设
项目流程
网站建设的课程都需要什么,steam交易链接怎么用,做外贸英语要什么网站,建设厅网站用户名和密码概述
近年来#xff0c;风格驱动生成 和 主题驱动生成 作为图像生成中的两个独立问题被研究。
前者强调参考图像的风格#xff0c;而后者侧重于保持人物或物体的一致性#xff0c;两者被视为对立的。
然而#xff0c;本文认为可以将两者视为统一的…概述近年来风格驱动生成 和 主题驱动生成 作为图像生成中的两个独立问题被研究。前者强调参考图像的风格而后者侧重于保持人物或物体的一致性两者被视为对立的。然而本文认为可以将两者视为统一的。原因在于这两项任务无非都是将 内容 和 风格 进行分离和重新组合的任务。因此作者提出了 USO统一风格-主体优化模型。USO 建立了一个大型三元组数据集内容图像、风格图像和风格应用图像并进一步将风格对齐学习和内容-风格分离学习结合起来风格对齐学习和内容-风格分离学习。此外还引入了风格奖励学习SRL以增强风格保真度。作者还建立了一个新的基准–USO-Bench以同时评估风格相似性和主题一致性。实验结果表明USO 优于传统方法在风格和主题一致性方面都达到了最先进的水平。建议的方法USO 的核心思想是将风格驱动任务和主题驱动任务作为 互补任务 同时学习。首先作者构建了一个跨任务三元组保存框架Cross-Task Triplet Curation Framework。这是一种使用风格化专用模型和去风格化模型自动生成三重数据参考风格图像、主题参考图像和风格应用结果图像的机制。接下来是统一定制框架 统一定制框架USO。学习分为两个阶段。在第一阶段使用 SigLIP 编码器和分层投影仪进行风格对齐训练确保能够准确提取风格特征。在第二阶段内容和风格图像被输入到不同的编码器中以执行内容-风格分离训练Content-Style Disentanglement Training避免不必要的特征污染。此外还引入了风格奖励学习SRL将生成的结果与参考风格的接近程度作为奖励信号反映在训练中。这成功地同时提高了风格保真度和主体一致性。实验为了测试所提方法的有效性作者使用新构建的 USO-Bench 和现有的 DreamBench 进行了大规模实验。USO-Bench 是一个结合了 50 种不同内容图像和 50 种不同风格图像的基准可以全面评估主题驱动、风格驱动和两者结合的任务。评估指标包括衡量主题一致性的 CLIP-I 和 DINO、衡量风格相似性的 CSD 以及衡量文本和图像一致性的 CLIP-T。实验结果表明USO 在主题驱动和风格驱动任务中的表现均优于现有方法尤其是在同时处理风格和主题的复杂任务中表现出了显著的性能提升。在定量评估中CSD 和 CLIP-T 的得分最高在定性评估中USO 忠实地再现了各种绘画风格同时保留了主体的外观。此外消融实验证实风格奖励学习和分层投影对性能的提高有很大帮助。总之可以得出结论USO 是一种最先进的统一生成模型可以同时实现风格和主题。