2026/4/15 9:25:42
网站建设
项目流程
贸易公司做推广的网站,烟台网站建设方案报价,安卓android官网下载,网站入口首页【导语】在工业人机协同装配场景中#xff0c;遮挡严重影响人体姿态估计的准确性。浙江大学机械工程学院研究团队在中科院一区期刊 Robotics and Computer-Integrated Manufacturing 发表研究#xff0c;提出一种面向遮挡人机协作场景的视觉-惯性融合人体姿态估计方法。研究中…【导语】在工业人机协同装配场景中遮挡严重影响人体姿态估计的准确性。浙江大学机械工程学院研究团队在中科院一区期刊Robotics and Computer-Integrated Manufacturing发表研究提出一种面向遮挡人机协作场景的视觉-惯性融合人体姿态估计方法。研究中NOKOV 度量光学动作捕捉系统提供高精度人体姿态真值数据用于验证方法在真实装配环境下的有效性与鲁棒性。一、人机协同装配中的核心挑战遮挡下的人体姿态估计在人机协作HRC装配过程中机器人与操作人员近距离协同作业人体常被设备、工装或机械臂部分遮挡导致传统基于视觉的人体姿态估计HPE方法精度下降。针对遮挡人机协同装配场景中的人体姿态估计问题浙江大学研究团队以工业制造真实需求为背景探索更具鲁棒性与可部署性的解决方案。二、视觉-惯性融合的人体姿态估计方法设计1. 视觉-IMU 融合的人体姿态估计框架论文提出一种基于视觉-惯性融合的人体姿态估计方法以单个 RGB 相机和稀疏 IMUs 作为输入在保证估计精度的同时兼顾操作人员的舒适性。人机协作框架结构该方法通过多模态数据互补有效缓解视觉遮挡对人体关键点识别带来的影响。2. 跨模态变换器融合块设计研究进一步设计了一种基于特定部位的跨模态变换器融合模块用于整合不同模态下的人体空间特征增强视觉与惯性信息之间的协同表达能力。三、实验验证公共数据集与真实装配场景表现遮挡装配场景下的实验验证结果人机协同工业 HRC 装配箱任务流程图研究在两个公共数据集、一个合成遮挡数据集以及自建的人机协同装配HPE 数据集上进行了系统实验。展示了数据集中的六种收集动作a-f及遮挡情况a、c、f与不同 HPE 方法在自定义数据集上的定性比较。黑色虚线真实姿态红色实线估算姿态在自定义数据集中NOKOV 度量动作捕捉系统用于采集包含视频、IMU 数据与 3D 人体姿态真值的完整实验数据结果表明该方法在遮挡环境下展现出更高的估计精度与鲁棒性。四、NOKOV度量动作捕捉在姿态估计实验中的关键作用基于光学动作捕捉的高精度姿态真值获人机协作实验数据采集系统设置NOKOV度量光学动作捕捉系统在实验验证阶段研究团队使用NOKOV 度量光学动作捕捉系统获取高精度人体三维姿态真值数据用于评估所提方法在不同遮挡条件下的人体姿态估计精度。NOKOV度量动作捕捉系统在以下方面发挥关键作用提供亚毫米级精度的人体姿态真值支撑多模态人体姿态估计方法的定量评估验证视觉-惯性融合方法在真实装配场景中的可靠性五、人机协同场景中遮挡环境下人体姿态估计方法FAQQ1遮挡环境下如何实现高精度人体姿态估计A1在遮挡严重的人机协同装配场景中通过融合视觉信息与惯性传感器数据进行人体姿态估计并结合光学动作捕捉系统提供的高精度姿态真值进行验证可显著提升估计结果的鲁棒性与准确性。Q2光学动作捕捉在人体姿态估计研究中起什么作用A2光学动作捕捉系统如 NOKOV度量动作捕捉系统可提供高精度三维姿态真值作为验证新型人体姿态估计方法的基准手段。Q3视觉-惯性融合在人类姿态估计中的优势是什么A3视觉-惯性融合的人体姿态估计方法能够在单目视觉受限或被遮挡时利用 IMU 数据补充人体运动信息从而在保证系统可部署性的同时提高姿态估计稳定性。Q4人体姿态估计方法通常如何进行精度验证A4人体姿态估计方法的精度通常通过光学动作捕捉系统获取的三维人体姿态真值进行评估该方式已成为验证工业人机协作与复杂装配场景下算法性能的可靠手段。六、论文及作者简介本研究成果“A deep learning-enabled visual-inertial fusion method for human pose estimation in occluded human-robot collaborative assembly scenarios” 发表于中科院一区期刊Robotics and Computer-Integrated Manufacturing作者团队来自浙江大学、普渡大学、瑞典皇家理工学院等国际顶级机构。作者简介王柏村通讯作者浙江大学机械工程学院副院长、百人计划研究员、博士生导师宋词浙江大学机械工程学院博士研究生李兴宇普渡大学工程技术学院助理教授周慧颖浙江大学机械工程学院博士研究生杨华勇中国工程院院士、浙江大学工学部主任、机械工程学院教授、博士生导师王力翚加拿大工程院院士、瑞典皇家理工学院可持续制造学教授及系主任。该研究为人机协同装配中的人体姿态估计问题提供了可落地的技术路径也展示了NOKOV 度量动作捕捉系统在高端机器人与智能制造研究中的真值支撑能力。