300米远程深度估计:港科大重磅开源自动驾驶深度感知新技术,远超现有雷达|CVPR2020...

点击上方“3D视觉工坊”,选择“星标”

干货第一时间送达

arxiv链接:https://arxiv.org/abs/2004.03048
project主页:https://kai-46.github.io/DepthSensing/
slides:https://kai-46.github.io/DepthSensing/my_files/slides.pdf
video:https://youtu.be/QXI5JQZ2JE0

输入

输出深度图

图像中的场景距离大约两三百米。本文算法可以得到一个上千万像素的深度图。

深度感知技术是自动驾驶技术的一个重要模块,当前的解决方案主要分为主动式的激光雷达和被动式的立体相机两种。这两种方案的优缺点已被众多科技媒体、学术文章等广为讨论,在此不做赘述。在这个工作中,作者尝试解决“自动驾驶场景下数百米的远程深度估计”这个尚未被大量探索的问题。

细看当前研究者常用的Kitti、Waymo等自动驾驶数据集,不难发现,它们的深度数据均由车载激光雷达采集,最大量程只有80米左右。80米左右的量程或许可以满足低速无人驾驶的应用场景,但是对于无人驾驶卡车在高速公路行驶这类的场景显得有点不足,原因在于,如果我们假设卡车车速是80 km/h,行驶80米的距离其实只需要3.6秒的时间,这对于无人驾驶技术的安全性构成了挑战。诚然目前市面上的一些高端激光雷达声称能够达到300米的有效测量距离,但其价格、功耗、远处物体的点云很稀疏等问题均不可规避。另一方面,现有的立体相机方案由于相机焦距不够大而看不清远处物体,进而也不能达到远程深度估计的要求。

作为计算机视觉研究者,作者决定从相机角度着手解决这个问题,而非改进激光雷达。首当其冲的一个问题是:为了看清远处物体,长焦镜头不可或缺,但是这种增大立体相机焦距的方法是否能直接解决问题了呢?答案是否定的。经过分析可以发现,这里面的一个难点在于:立体相机的最大baseline受限于车辆的宽度(通常在2米左右)。

对于300米远的3D点而言,2米的baseline可谓是超级小,小到这个3D点到左、右相机中心的两条光线的夹角(triangulation angle)只有0.382度。如下图所示,极小的triangulation angle带来的后果是深度估计的精度对于相机姿态中的微小变化异常敏感:如果姿态中有0.1度的误差,那么估计的深度值的相对误差就达到了不可接受的26.2%左右,这意味着在300米深度处会产生大约78.6米的绝对误差。

在无人驾驶车辆行驶过程中,相机姿态当中的微小变化几乎是难以避免的。对相机姿态要求的这种高精度也已远超IMU、Gimbal等硬件所能达到的精度。那么使用Structure-from-Motion (以下简称SfM)这种算法是否可以直接从图片中恢复高精度相机姿态呢?很不幸的是,答案也是否定的,这是因为SfM算法所求解的优化问题在远程深度估计问题下存在ambiguity,简单来说,就是解不是唯一的。早年的文章把这种现象成为bas-relief ambiguity,如下图的仿真实验所示,SfM恢复的相机姿态相对于真实值有0.207度的误差,同时恢复的3D点的位置(红色)严重偏离了它们真实的位置(蓝色)。

为此,作者提出了一个如下图所示的由三个长焦相机构成的新相机系统(两个放在车头,一个放在车尾),以及配套的深度估计算法。本文的解决方案绕过了对高精度相机姿态的要求,只需要知道三个相机的焦距,以及相机之间的距离。算法以三个相机同一时刻捕捉到的图片作为输入,输出left相机图片对应的深度图。整个系统流程图如下图所示。

简单来说,本文的算法流程是先对左右相机的图片做uncalibrated pseudo-rectification,这一个过程不依赖于相机姿态,只需要图片之间的sparse feature matches即可实现;然后用标准的stereo matching算法去估计disparity;分析表明这个估计的disparity相对于真实的disparity存在一个未知的全局偏移。算法的最后一步是利用left相机和back相机之间的近大远小现象来估计这个未知的全局偏移,并将修正后的disparity转化为深度

具体点来说,第一步中的uncalibrated pseudo-rectification基于的原理是当相机焦距很大时,相机的透视投影效应会变弱,退化成弱正交投影,本文的分析显示在这种情形下,我们可以直接通过图片之间的sparse feature matches求接出两个仿射变换来达到对图片的pseudo-rectification;这种pseudo-rectification具有不依赖相机姿态的优点,但是会带来第二步估计的disparity中存在未知的全局偏移这一后果;为了去除这个全局偏移,本质上我们需要知道至少一个3D点的绝对深度值(同时这个3D点在第二步估计的disparity也要合理),在本文的方法中,这一目标是通过利用前后相机之间的近大远小现象实现的,即:两个具有同一深度的3D点,它们投影到后面相机中的像素之间距离要比投影到前面相机中的像素之间距离来得小,并且从距离之间的比例可以反推出3D点的深度。(具体的算法细节可以参考论文)

作者在仿真数据集和采集的现实数据集验证了算法。对于仿真数据集上,本文限制相机系统的baseline/depth ratio在2/300左右(对应车宽2米,物体在300米这样的现实设定),同时对相机姿态做随机的小扰动。结果显示,本文的算法估计出来的深度能够达到3%的相对误差,远超其他算法

由于这个问题的现实数据采集难度很高,本文做了资源允许情况下的最大力度验证。本文把一个配备了长焦镜头和三脚架的相机依次放到相机系统示意图中的三个位置,并且用激光测距仪测量了left相机中心点的深度作为真实值。实验结果显示,本文的方法得到的深度(300.8米)跟激光测距仪测量的值(320米)吻合得很好(如下图2所示),并且我们的方法输出的是深度图,而非激光测距仪给出的单点深度。

综上所述,在这个工作中,作者对于无人驾驶场景下的远距离(300米左右)深度估计做了一些探索,并提出了一个基于相机的解决方案。因为本文方法基于相机,所以具有成本小、功耗低的特点(note:作者验证原型系统时使用的易用型消费者相机Nikon P1000成本并不低,实际应用中使用工业相机和镜头来搭建这个系统的话可以大幅降低成本,同时相机尺寸也可以缩小很多)。匹配本文提出的深度估计算法,整个系统的完整参数(包括完整的相机内参和外参)并不需要提前全部calibrate好,同时该套系统对于车辆系统过程中的相机姿态颤动更加鲁棒。

由于资源的限制,本文并未能在真实的自动驾驶场景上验证本文提出的原型系统,是一个遗憾;无人驾驶场景下的远距离深度估计问题也欠缺公开的大规模数据集来供深度学习研究者使用。这些都是未来可以研究探索的方向。

作者介绍

张凯,Cornell二年级博士生,博士导师Noah Snavely,本科毕业于清华大学,主要研究领域:3D vision。

推荐阅读

重磅!3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群,请扫描下面微信号加群,备注:”研究方向+学校/公司+昵称“,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近1000+星球成员为创造更好的AI世界共同进步,知识星球入口:

学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

3D视觉工坊 CSDN认证博客专家 算法 3D视觉
个人公众号:3D视觉工坊。公众号特邀嘉宾及合伙人,先后就职于国内知名研究机构、自动驾驶公司、海康研究院,主要研究方向为深度学习、目标检测、语义分割、图像处理、自动驾驶感知算法等,CSDN博客专家。博主先后任职于国内知名研究院、知名大厂,致力于3D视觉算法、VLAM算法开发,涉及相机标定、手眼标定、结构光、点云后处理、三维重建等相关领域的研究,同时也是CSDN博客专家。3D视觉工坊坚持原创,近一年来输出了非常多的高质量文章,获得了粉丝的一致好评,我们将始终坚持走原创路线,打造一个铁杆粉丝的聚集区。
©️2020 CSDN 皮肤主题: 书香水墨 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值