Point_image_fusion

图像点云融合的目标提取

提取物：德国43种交通标识牌

基本实现原理

• 基于Yolo V5 的图像目标检测
• MMS 内外参
• 图像点云坐标配准(点云坐标系转换到像平面坐标系)
• 图像识别结果传递至点云(输出目标物点云index)
• 根据index查找原始点云
• 输出目标物点云及目标物点云群质心作为点云坐标系下的目标物坐标
• 点云坐标系转换至实际GPS坐标，还原至真实坐标

使用数据

图像训练及检测

• GTSRB数据集 → 标示牌检测
• GTSDB数据集 → 标示牌识别

由于GTSRB数据中没有背景信息，实验利用街景数据(TT100K中的全景影像)作为背景，将GTSRB中的标识牌随机粘贴至街景数据中

MMS数据（实际检测的图像及对应点云）

• KITTI Odometry 00 02 sequences → 包含点云、图像、POSE信息
• 00 02 sequences对应的 raw 数据 → 对应的GPS数据，用来还原真实坐标

数据预处理 图像训练准备

• /data 1.

Yolo 模型训练及图像检测

-yolov5

坐标转换及点云提取

• fusion