企业官网建设流程全解析

集团网站手机版,邢台网站建设有哪些,自己做网站教学视频,博物馆网站建设公司清华大学与星尘智能、港大、MIT 联合提出基于对比学习的隐空间动作预训练#xff08;Contrastive Latent Action Pretraining, CLAP#xff09;框架。 近日#xff0c;清华大学与星尘智能、港大、MIT 联合提出基于对比学习的隐空间动作预训练#xff08;Contrastive Laten…清华大学与星尘智能、港大、MIT 联合提出基于对比学习的隐空间动作预训练Contrastive Latent Action Pretraining, CLAP框架。近日清华大学与星尘智能、港大、MIT 联合提出基于对比学习的隐空间动作预训练Contrastive Latent Action Pretraining, CLAP框架。这个框架能够将视频中提纯的运动空间与机器人的动作空间进行对齐也就是说机器人能够直接从视频中学习技能论文标题CLAP: Contrastive Latent Action Pretraining for Learning Vision-Language-Action Models from Human Videos论文地址https://arxiv.org/abs/2601.04061项目地址https://lin-shan.com/CLAP/引言长期以来机器人学习面临着一个令人头疼的「数据饥荒」难题互联网上有着数以亿计的人类行为视频但专门用于训练机器人的数据却寥寥无几。这种数据不对称现象的根源在于收集机器人操作数据需要昂贵的硬件设备、专业的操作环境以及大量的人工标注工作成本高昂且效率低下。相比之下人类行为视频数据虽然丰富但由于视觉表征与机器人动作空间之间存在巨大的语义鸿沟传统方法难以有效利用这些资源。现有的潜在动作模型Latent Action Models试图利用视频数据但往往会遭遇「视觉纠缠」visual entanglement问题 —— 模型学到的更多是与实际操控无关的视觉噪声而非真实的操控技能。CLAP 框架的核心创新正是解决了这一长期困扰业界的技术瓶颈。该框架能够将视频中提纯的运动空间与机器人的动作空间进行对齐有效避免了以往潜在动作模型中普遍存在的「视觉纠缠」问题。通过对比学习CLAP 将视频中的状态转移映射到一个量化的、物理上可执行的动作码本上。研究团队基于两种 VLA 建模范式进行训练其一是 CLAP-NTP一种自回归模型在指令跟随与对象泛化方面表现突出其二是 CLAP-RF一种基于 Rectified Flow 的策略面向高频率、精细化的操控。这一技术突破的实际意义体现在多个层面。首先从数据利用效率来看CLAP 框架使得机器人能够从 YouTube、抖音等平台上的海量视频中学习技能极大扩展了可用训练数据的规模。其次从成本效益角度分析这种「看视频学技能」的方式显著降低了机器人技能获取的门槛。此外该框架还解决了机器人学习中的一个关键技术挑战 —— 知识迁移问题。通过知识匹配Knowledge Matching, KM正则化策略CLAP 有效缓解了模型微调过程中的灾难性遗忘现象确保机器人在学习新技能的同时不会丢失已掌握的能力。从产业应用前景来看CLAP 框架的长期价值不仅在于技术创新更在于其对机器人产业化进程的推动作用。当机器人能够通过观看视频快速掌握新技能时企业部署机器人的成本和周期将大幅降低这有望加速机器人在服务业、制造业等领域的规模化应用。详解 CLAP 框架研究团队构建了一个统一的视觉 - 语言 - 动作VLA框架使其能够同时利用机器数据的动作精确性与大规模无标注人类视频演示的语义多样性。框架分为两个相互衔接的阶段通过 CLAP 进行跨模态对齐建立共享的潜在动作空间弥合无标注人类视频与有标注机器人轨迹之间的监督缺口。该过程基于对比学习进行隐空间动作预训练CLAP它将人类视频中的视觉状态转移「锚定」到一个量化的、物理上可执行的动作空间中。分层策略训练研究团队通过连续训练两个 VLA 模型将语义理解与控制动力学有效解耦CLAP-NTP采用「下一词元预测」Next-Token-Prediction训练的 VLA擅长指令跟随与任务规划CLAP-RF包含一个 VLM 模型与一个采用 Rectified Flow 训练的动作专家以实现高频、精确控制。为高效适配新的本体形态并防止预训练先验在微调中发生灾难性遗忘研究团队进一步提出知识匹配Knowledge Matching, KM微调策略一种正则化方法在微调过程中将策略更新锚定在可信区域内。实验结果大量实验表明CLAP 显著优于强基线方法使得从人类视频中学习到的技能能够有效迁移到机器人执行中。下表 1 为初始设置下CLAP 与基线方法在真实世界任务中的性能比较。下表2 为 CLAP 与基线方法在环境扰动下的鲁棒性评估。更多实验结果请参阅原论文。