企业官网建设流程全解析

免费做试用的网站,石家庄站规模,做一个小程序收费价目表,网站建设网站制作公司论文题目#xff1a;H-V2X: A Large Scale Highway Dataset for BEV Perception#xff08;H-V2X:用于纯电动汽车感知的大规模公路数据集#xff09; 会议#xff1a;ECCV2024 摘要#xff1a;由于路边基础设施感知数据集的可用性#xff0c;车辆到一切(V2X)技术已经成为…论文题目H-V2X: A Large Scale Highway Dataset for BEV PerceptionH-V2X:用于纯电动汽车感知的大规模公路数据集会议ECCV2024摘要由于路边基础设施感知数据集的可用性车辆到一切(V2X)技术已经成为研究的一个感兴趣的领域。然而这些数据集主要集中在城市十字路口缺乏高速公路场景的数据。此外由于多个传感器之间的同步数据有限数据集中的感知任务主要是MONO 3D。为了弥补这一差距我们提出了高速公路- v2x (H-V2X)这是第一个由现实世界中的传感器捕获的大规模高速公路鸟瞰(BEV)感知数据集。该数据集覆盖了100多公里的高速公路具有多种道路和天气条件。H-V2X由超过190万个BEV空间的细粒度分类样本组成由多个同步摄像机捕获并提供矢量图。我们进行了2D-3D联合校准以确保正确的投影并涉及人工以确保数据质量。此外我们提出了与高速公路场景高度相关的三个任务:BEV检测、BEV跟踪和轨迹预测。我们对每个任务进行了基准测试并提出了结合矢量地图信息的创新方法。我们希望H-V2X和基准方法能够推动高速公路纯电动汽车感知的研究方向。该数据集可在https://pan.quark.cn/s/86d19da10d18上获得H-V2X首个大规模高速公路BEV感知数据集深度解读目录1. 论文概述2. 研究背景3. H-V2X数据集介绍4. 三大Benchmark任务5. 实验结果分析6. 总结与展望1. 论文概述作者单位腾讯ADLab核心贡献本论文提出了首个大规模高速公路路侧基础设施感知数据集H-V2X主要贡献包括提供190万帧真实高速公路场景数据覆盖超过100公里包含1760万个精细标注的3D对象支持多传感器5个摄像头2个雷达同步数据提供高精度矢量地图定义三个benchmark任务BEV检测、统一ID跟踪、轨迹预测提供创新的baseline方法2. 研究背景2.1 为什么需要高速公路V2X数据集高速公路是交通运输的关键部分但安全问题一直存在。虽然智能车辆技术在发展但大多数车辆仍缺乏先进的驾驶辅助系统。路侧基础设施感知V2X的优势传感器安装在路侧覆盖范围广可以感知车辆盲区和远距离目标通过5G或RSU与车辆通信不受单车传感器限制2.2 现有数据集的局限性目前的V2X数据集主要存在以下问题场景局限主要集中在城市交叉路口缺少高速公路场景任务单一主要支持单目3D检测Mono3D缺少跨传感器的BEV端到端感知传感器限制多数依赖LiDAR但在高速公路场景中LiDAR安装在桅杆上存在成本高、维护难、感知范围受限等问题缺少地图融合未充分利用高精地图HDMap信息2.3 H-V2X的定位H-V2X数据集填补了高速公路路侧感知的空白提供了真实场景采集的大规模数据多传感器同步的BEV空间标注完整的标定参数和矢量地图统一ID的跨传感器目标跟踪3. H-V2X数据集介绍3.1 传感器配置H-V2X采用了完善的多传感器系统安装在高速公路中间的桅杆上摄像头系统2个长焦相机焦距70mm检测范围大于800米FOV 9.1度2个短焦相机焦距12mmFOV 49.78度1个鱼眼相机焦距1.27mmFOV 180度消除桅杆下方盲区雷达系统2个长距离雷达检测范围大于800米提供速度和航向角信息技术参数图像分辨率1920x1080普通相机、1280x1280鱼眼采样频率10Hz同步精度小于50ms通过NTP服务覆盖范围正负500米8车道3.2 数据规模与多样性整体规模总帧数194万帧总对象数1760万个覆盖距离超过100公里高速公路类别数量4类轿车、卡车、面包车、公交车场景多样性道路类型长直道弯道立交桥匝道高架桥天气条件晴天、雨天、雾天多云、黄昏、夜间交通状况正常流量拥堵稀疏交通3.3 数据分布特征类别分布轿车Sedan64.4%卡车Truck32.6%面包车Van2.9%公交车Bus0.1%关键发现相比城市数据集高速公路场景中大型车辆卡车占比显著更高达到32.6%。速度分布主要集中在70-100 km/h平均速度轿车约95 km/h卡车约80 km/h轨迹长度78.4%的轨迹长度超过400米这意味着大部分车辆会穿越多个传感器形成完整的长距离轨迹3.4 标定系统H-V2X提供了三个坐标系统图像坐标系相机坐标系世界坐标系矢量地图坐标系标定方法方法1人工标定工具使用棋盘格标定相机内参人工调整外参x, y, z, yaw, pitch, roll确保矢量地图投影与真实车道对齐方法2自动标定算法使用分割模型提取视觉车道线优化矢量地图车道与视觉车道的3D匹配分数采用Bundle Adjustment算法每日自动运行应对传感器漂移3.5 创新的标注流程由于高速公路场景无法使用LiDARH-V2X提出了创新的基于摄像头的3D标注流水线步骤12D检测与跟踪训练云端基础模型使用122,445标注数据半监督学习扩展到370,000帧mAP达到0.95在IoU0.5的阈值下2D MOT提供平滑的边界框和跟踪ID步骤22D到3D投影将图像平面边界框投影到矢量地图坐标系利用道路边界信息过滤误检步骤3跨传感器目标匹配使用最小欧氏距离匈牙利匹配策略合并不同摄像头观测到的同一目标步骤4轨迹后处理扩展卡尔曼滤波平滑轨迹生成BEV空间的统一跟踪ID雷达提供速度和航向角步骤5人工质量验证移除幻影轨迹BEV中存在但图像中不存在的轨迹移除异常断裂的轨迹标注4个类别最终结果生成17,560,000个高质量标注样本4. 三大Benchmark任务4.1 任务1BEV检测H-V2X-Det任务定义给定时刻t的多个传感器输入BEV检测的目标是找到一个神经网络F输出所有图像视角中对象的3D信息输入5个摄像头的图像矢量地图M输出类别、置信度3D位置x, y, z尺寸w, l, h航向角yaw颜色任务特点与传统自动驾驶BEV检测的区别检测范围更大传统自动驾驶正负60米H-V2X正负500米相机类型多样长焦相机、短焦相机、鱼眼相机深度融合HDMap车道线和道路边界作为关键输入提供静态道路信息H-BEV模型论文提出了H-BEVHighway BEV模型这是一个融合鱼眼相机和矢量地图的BEV检测网络。核心创新利用HDMap简化深度估计传统BEVDet需要学习每个像素的大量离散深度值H-BEV利用HDMap信息从HDMap通过插值得到单一深度值图像特征图尺寸减少500倍显著提升速度和效率模型流程输入5个摄像头图像 矢量地图 ↓ 特征提取ResNet-18 backbone ↓ 利用HDMap生成Frustum点云 ↓ BEV空间特征融合 ↓ 检测头 属性预测头 ↓ 输出3D检测结果评估指标APAverage Precision使用40个recall位置计算平均精度FPSFrames Per Second衡量实时性能测量单帧处理时间4.2 任务2统一ID多目标跟踪H-V2X-Trk任务定义MOT任务的核心是为每个相关的交通参与者建立和维护唯一的ID。输入连续的图像序列输出完整的3D对象信息位置和属性每个对象的唯一ID对象轨迹S {o1, o2, o3, ..., oT}两种范式方法1Tracking-by-Detection本文采用两阶段过程先检测目标位置再关联连续帧中的目标分配正确的ID方法2Joint Detection and Tracking端到端方法同时进行检测和跟踪学习检测特征和re-identification特征Baseline方法H-V2X提供了基于SORT算法的baseline核心组件卡尔曼滤波运动估计和预测匈牙利算法目标匹配欧氏距离相似度度量Track管理处理新生和丢失的目标运动模型使用3D坐标x, y, z作为测量值一阶差分速度分量vx, vy, vz融入状态转移矩阵。评估指标MOTAMultiple Object Tracking Accuracy综合考虑假阴性、假阳性和ID切换MOTA 1 - (FN FP IDS) / GT其中FN假阴性漏检FP假阳性误检IDSID切换次数GT真实目标数量MOTPMultiple Object Tracking Precision测量预测边界框中心与真实边界框中心的平均欧氏距离。IDSID Switch单独衡量跟踪算法保持目标身份一致性的能力。4.3 任务3轨迹预测H-V2X-Prediction任务定义基于观测到的历史轨迹预测对象未来一段时间内的连续轨迹。输入历史轨迹p1, p2, p3, ..., pt矢量地图M输出未来轨迹pt1, pt2, ..., ptTT为预测时间步数1-5秒Baseline方法Baseline 1Vanilla SocialGAN基于SocialGAN实现使用LSTM编码历史轨迹使用GAN生成未来轨迹数据增强位置添加随机噪声[-2m, 2m]方向添加高斯噪声[-0.785, 0.785]弧度训练500,000次迭代Baseline 2HD-GAN本文提出融合HDMap信息的改进版本核心创新使用全局地图信息提取对象的全局位置特征模型组件HDMap Layer输入车道线信息HDMap Normalization Layer计算对象全局位置归一化到[0,1]HDMap Encoder Layer编码全局地图位置特征GeneratorLSTM Pooling 全局特征融合Discriminator判别真假轨迹评估指标ADEAverage Displacement Error测量预测位置与实际位置之间的平均误差对每个时间步计算欧氏距离然后取平均。FDEFinal Displacement Error测量预测的最终位置与实际最终位置之间的误差只计算最后一个时间步的欧氏距离。5. 实验结果分析5.1 BEV检测结果定量结果方法BackbonemAP3DmAPbevFPSLate Fusion-31.7533.2410Early Fusion (H-BEV)ResNet-1835.4938.406关键发现Early Fusion显著优于Late FusionmAP3D提升3.74个百分点11.8%mAPbev提升5.16个百分点15.5%速度差异可接受Late Fusion10 FPSEarly Fusion6 FPS都满足实时要求定性分析Late Fusion的问题对标定参数更敏感截断和遮挡目标检测效果差依赖2D检测质量Early Fusion的优势更鲁棒端到端学习更好地处理困难情况HDMap的作用简化深度估计从离散多值到单一值特征图大小减少原始尺寸的1/500统一处理鱼眼和针孔相机的投影5.2 MOT结果定量结果指标MOTAMOTPIDSBaseline0.850.950.05结果解读MOTA0.85总体跟踪准确率良好MOTP0.95位置精度很高IDS0.05ID切换较少挑战分析高速公路场景的MOT面临独特挑战高速运动车速70-100 km/h帧间位移大需要强运动模型长时间遮挡立交桥遮挡持续数秒大型车辆遮挡小车容易导致ID断裂近距离混淆多车并行行驶单纯距离匹配不足需要更多特征改进方向引入外观特征加强运动约束利用车道线信息结合地图约束5.3 轨迹预测结果定量结果预测不同时长1-5秒的ADE和FDEADE结果预测时长Vanilla SocialGANHD-GAN改进1秒0.4320.4271.2%2秒0.8940.8435.7%3秒1.4301.2919.7%4秒2.0181.8478.5%5秒2.6832.4578.4%FDE结果预测时长Vanilla SocialGANHD-GAN改进1秒0.8300.8270.4%2秒1.8491.6968.3%3秒3.0312.65712.3%4秒4.3823.87911.5%5秒5.8335.18811.1%关键发现地图信息的重要性短期预测1-2秒地图作用有限长期预测3-5秒地图作用显著增强预测时间越长全局位置信息越重要数据增强的效果对比有无数据增强无增强对观测轨迹抖动敏感有增强鲁棒性显著提高能更好地处理噪声观测定性结果论文展示了可视化结果对比A无地图 vs 有地图无地图预测轨迹可能偏离道路有地图预测轨迹符合道路约束对比B无增强 vs 有增强无增强观测抖动时预测误差大有增强对抖动有更好的抗干扰能力5.4 数据集对比与现有V2X数据集对比数据集年份场景样本数覆盖传感器任务DAIR-V2X-C2022城市12K20kmCLMono3DV2X-Seq2023城市11K28路口CLTrackPredA9-Dataset2022高速1K3kmCLMono3DHighD2018高速1.48M420mC(无人机)2DH-V2X2024高速1.94M100kmCRBEVMOTPredH-V2X的独特优势唯一的大规模高速公路路侧数据集最大的样本规模1.94M最长的覆盖距离100km支持端到端BEV感知提供矢量地图统一ID跨传感器跟踪数据分布差异高速 vs 城市场景的关键不同特征城市场景高速场景车速0-60 km/h70-100 km/h卡车占比约10%32.6%轨迹长度小于200m78.4%大于400m检测范围正负100m正负500m6. 总结与展望6.1 论文贡献总结理论贡献首次定义高速公路BEV感知任务扩展检测范围至正负500米定义统一ID跨传感器跟踪提出长距离轨迹预测提出无LiDAR的3D标注方法解决高速公路LiDAR不可行的问题提供完整的标注流水线人机结合保证数据质量提出HDMap深度融合范式H-BEV地图辅助的BEV检测HD-GAN地图辅助的轨迹预测证明全局位置信息的重要性数据集贡献规模大190万样本1760万对象覆盖广100公里高速公路质量高人工验证算法生成完整性图像标注地图标定Benchmark贡献定义3个标准任务提供评估指标和工具建立baseline方法开源数据和代码6.2 技术亮点亮点1多类型相机融合长焦相机远距离高精度短焦相机大视野覆盖鱼眼相机消除盲区统一在BEV空间处理亮点2HDMap深度融合传统vs改进对比方面传统BEVH-BEV深度估计学习大量离散值HDMap提供单一值特征图很大缩小500倍鱼眼处理困难简化投影道路约束弱强亮点3统一ID跟踪跨传感器全局统一ID追踪目标完整生命周期支持长距离轨迹分析78.4%轨迹超过400米6.3 实际应用场景智能高速公路实时交通监控事故预警交通流优化应急响应V2X协同感知为车辆提供超视距信息盲区补充长距离预警提升驾驶安全自动驾驶高速公路自动驾驶训练长距离场景理解多传感器融合研究边缘场景测试交通管理交通统计分析行为模式识别违规检测数据驱动决策6.4 未来工作方向数据集扩展交通事件标注违章停车紧急停车交通事故异常行为更多场景极端天气夜间场景复杂交织区算法改进更强的MOT加入外观特征利用车道信息改进运动模型更好的检测长距离小目标遮挡处理多模态融合更准确的预测意图识别交互建模不确定性估计系统优化实时性优化边缘计算部署轻量化模型模型压缩6.5 局限性地域性仅覆盖中国高速公路需要更多国家和地区的数据类别有限目前只有4类可以增加更多细分类别极端情况极端天气覆盖有限需要更多边缘场景Baseline可改进当前方法相对简单还有很大提升空间7. 如何使用H-V2X数据集7.1 数据集获取数据集下载链接https://pan.quark.cn/s/86d19da10d187.2 数据集结构H-V2X/ ├── images/ # 图像数据 │ ├── long_range_camera_1/ # 长焦相机1 │ ├── long_range_camera_2/ # 长焦相机2 │ ├── short_range_camera_1/ # 短焦相机1 │ ├── short_range_camera_2/ # 短焦相机2 │ └── fisheye_camera/ # 鱼眼相机 ├── annotations/ # 标注数据 │ ├── detection/ # 检测标注 │ ├── tracking/ # 跟踪标注 │ └── prediction/ # 预测标注 ├── calibration/ # 标定参数 │ ├── intrinsics/ # 内参 │ └── extrinsics/ # 外参 ├── vector_map/ # 矢量地图 │ └── hdmap.json └── README.md # 说明文档7.3 数据格式检测标注示例{ frame_id: 0001234, timestamp: 1234567890.123, objects: [ { id: 1, class: sedan, bbox_3d: { x: 100.5, y: 20.3, z: 0.0, w: 1.8, l: 4.5, h: 1.5, yaw: 1.57 }, velocity: 25.5, color: red } ] }7.4 评估工具数据集提供官方评估脚本# BEV检测评估 python eval_detection.py --pred results.json --gt annotations/detection/ # MOT评估 python eval_tracking.py --pred tracks.json --gt annotations/tracking/ # 轨迹预测评估 python eval_prediction.py --pred predictions.json --gt annotations/prediction/结语H-V2X数据集是V2X和自动驾驶领域的重要里程碑。它不仅填补了高速公路路侧感知数据集的空白还提出了创新的无LiDAR标注方法和HDMap融合范式。三大核心价值学术价值为研究者提供高质量benchmark工程价值为实际系统提供训练数据产业价值推动智能高速公路建设随着数据集的开源相信会有更多优秀的算法在H-V2X上被提出推动高速公路智能化和V2X技术的发展。如果这篇文章对你有帮助欢迎点赞、收藏和分享让我们一起推动自动驾驶和V2X技术的发展