PluckerNet:一种基于3D线匹配的配准网络(CVPR2021)

标题:PluckerNet: Learn to Register 3D Line Reconstructions

作者:Liu Liu, Hongdong Li , Haodong Yao and Ruyi Zha

来源:CVPR 2021

编译:lionheart

审核:zhiyong

转载:泡泡机器人SLAM

摘要

在欧几里得空间中,对齐两个部分重叠的三维线重建是一个挑战,因为我们需要同时解决线重建之间的对应关系和相对位姿。本文提出了一种基于神经网络的方法,该方法有三个模块依次连接:(1)基于多层感知器(MLP)的网络将线的普吕克表示作为输入,提取显著的线特性和匹配特征,(2)最优传输层将线特性和匹配特性作为输入来估计一个二维联合概率矩阵,每一项描述了匹配可能性,(3)将最搞匹配概率的线对输入到RANSAC框架下的二线的最小解算器,以估计6自由度刚性变换。室内和室外数据集的实验表明,我们的方法的配准(旋转和平移)精度明显优于对比方法,代码开源:https://github.com/Liumouliu/PlueckerNet

主要贡献

1、一个简单的、端到端的和高效的学习策略用于在欧氏空间中刚性配准两个线结构

2、使用深度神经网络考虑线的几何结构提取线特征。

3、基于最优转换理论构建原始全局特征匹配网络用于寻找线对应匹配。

4、在欧氏空间中构造了一个二线最小求解器,使用RANSAC框架完成3D线结构配准。

5、提出了两个3D线配准基线(迭代最近线和直接回归),三个数据集实验并显示所提方法的最先进的性能。

方法概述

图 网络整体框架

特征提取和表达

网络输入一系列无序的三维线,使用普吕克坐标(v,m)来表征线特征,v是三维方向向量,m是维矩向量,v和m分布在两个空间中,为了建立两空间关联,使用两个不共享权值的并行网络独立地处理v和m,然后将它们的特征串接起来,在高维空间中表达普吕克直线,这种子空间编码方法的优点是:1)明确地考虑了v和m之间的域间隙;2)我们能够在v方向空间和m矩空间的每个子空间中定义几何近邻。子空间特征构建与特征整合过程如下图所示,对于向量空间v或矩向量空间m,构建Knn图,对于每个直线节点提取局部特征,通过MLP将局部特征映射到高维空间,链接128维度MLP整合两个子空间。

图 普吕克直线子空间编码

在编码六维度普吕克直线到128维度特征后,进一步编码直线及其邻域直线特征制作便于匹配的显著特征,采用自注意力和交叉注意力来提取线段的显著特征,如下图所示,对源线段和目标线段定义两个图结构,节点值为线特征值,在一个消息传递框架中,节点值使用多头自我和交叉注意进行更新。

图 显著性特征构建

特征匹配

获得每个线的学习特征描述后,我们执行全局特征匹配来评估普吕克线对的相似性,首先计算线特征匹配相似矩阵H,H中的元素表示线特征的L2距离。对给定的线匹配可能性进行建模,初始匹配阶段,定义一元匹配可能性向量,在源和目标线结构中分别使用r和s表示,使用一个轻量级匹配回归网络来评估r或s。全局匹配阶段,对于H,r和s,评估一个权重矩阵W,W中的每个元素代表线对的匹配概率,选择Sinkhorn求解器求解W矩阵。

图 W匹配概率求解

损失函数设计

为了训练特征提取和匹配网络,设计关于匹配概率W的损失函数,最大化内点匹配概率同时最小化外点匹配概率。如果为正确线匹配C赋值为1,错误线匹配C赋值0.

姿态评估

提取出包含外点的的一致线匹配组合,进一步计算两个线集合的转换参数,最少需要两个线对应来解算相对的旋转矩阵R和平移参数t,第一步使用12式可求解旋转矩阵R,进一步使用11式计算平移向量t。在RANSAC迭代配准框架下,选择两个线匹配计算转换参数,计算线匹配组合中内点数量,选取内点数量最多的转换参数为最优参数。

实验结果

选取室内公开数据集Structured3D,室外数据集Semantic3D和真实世界基于线的视觉导航数据集Apollo进行实验。因为没有现有的对比方法,因此作者提出并实施了两种方法用于对比:1)ICL,迭代最近线算法,类似于迭代最近点算法;2)Regression,这个方法没有评估线和线的匹配,在提取线特征后,应用全局最大池化层获得源和目标线结构特征,然后将全局线结构特征链接MLP直接回归旋转和平移参数。

图 旋转和平移误差对比

真实世界基于线匹配的视觉里程计测试中,使用Apollo数据集中图像深度信息,恢复连续帧的三位直线结构,通过配准直线结构完成视觉里程计。结果如下所示:

图 Apollo数据集上的视觉里程计

Abstract

Aligning two partially-overlapped 3D line reconstructions in Euclidean space is challenging, as we need to simultaneously solve correspondences and relative pose between line reconstructions. This paper proposes a neural network based method and it has three modules connected in sequence: (i) a Multilayer Perceptron (MLP) based network takes Pl¨ucker representations of lines as inputs, to extract discriminative line-wise features and matchabilities (how likely each line is going to have a match), (ii) an Optimal Transport (OT) layer takes two-view line-wise features and matchabilities as inputs to estimate a 2D joint probability matrix, with each item describes the matchness of a line pair, and (iii) line pairs with Top-K matching probabilities are fed to a 2-line minimal solver in a RANSAC framework to estimate a six Degree-of-Freedom (6-DoF) rigid transformation. Experiments on both indoor and outdoor datasets show that registration (rotation and translation) precision of our method outperforms baselines signifificantly.

本文仅做学术分享,如有侵权,请联系删文。

下载1

在「3D视觉工坊」公众号后台回复:3D视觉即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复:相机标定即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配即可下载独家立体匹配学习课件与视频网址。

重磅!3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近3000星球成员为创造更好的AI世界共同进步,知识星球入口:

学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用,麻烦给个赞和在看~  

3D视觉工坊 CSDN认证博客专家 算法 3D视觉
个人公众号:3D视觉工坊。公众号特邀嘉宾及合伙人,先后就职于国内知名研究机构、自动驾驶公司、海康研究院,主要研究方向为深度学习、目标检测、语义分割、图像处理、自动驾驶感知算法等,CSDN博客专家。博主先后任职于国内知名研究院、知名大厂,致力于3D视觉算法、VLAM算法开发,涉及相机标定、手眼标定、结构光、点云后处理、三维重建等相关领域的研究,同时也是CSDN博客专家。3D视觉工坊坚持原创,近一年来输出了非常多的高质量文章,获得了粉丝的一致好评,我们将始终坚持走原创路线,打造一个铁杆粉丝的聚集区。
已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页
实付 49.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值