双目立体视觉 I:标定和校正

点击上方“3D视觉工坊”,选择“星标”

干货第一时间送达

作者:Ali Yasin Eser

编译:ronghuaiyang(AI 公园)

导读

双目立体校正和标定。

大家好!今天我们将讨论什么是立体摄像机,以及我们如何将它用于计算机视觉。通过使用这里的代码:https://github.com/aliyasineser/stereoDepth,我将解释我们如何为立体摄像机校准摄像机并计算视差图。我不会深入数学细节,你可以阅读一些OpenCV文档。

我们能感知深度的原因是我们美丽对齐的眼睛。如果你注意到,当我们用一只眼睛看近处的物体时,我们会看到两种角度的不同。但当你看远处的东西时,比如几公里外的山或建筑,你看不到区别。这些差异在我们的大脑中自动处理,我们可以感知深度!眼睛一个在左一个在右的动物无法感知深度,因为它们没有共同的视角,相反,它们有广角视角。有些动物,比如鸭子,通过摇头或快速奔跑来感知深度。我们不会讨论这个概念,现在,让我们关注像我们的眼睛这样的系统。

简化的立体视觉。你可以看到物体P是如何被两个摄像机观察到的。物体的位置在两个图像中是不同的。

如果两台相机垂直对齐,观察到的物体将在同一垂直坐标上(图像中的同一列),所以我们只能关注x坐标来计算深度,因为近的物体在x轴上会有较大的差值。但为了实现这一目标,我们需要对相机进行校准,以修正镜头畸变。校准后,我们需要对系统进行校正。校正基本上就是两台相机之间的校准。如果我们校准和矫正我们的立体摄像机,两个物体将在相同的y轴上,并且观测点P(x,y)可以在图像的同一行中找到,P1(x1,y)是第一个摄像机,P2(x2,y)是第二个摄像机。从这里开始,像素和深度计算之间的唯一区别就在于此。

左上角图像和右下角图像分别是左/右相机图像,左下角是它们的组合来显示差异,右下角是深度图。

首先,将立体摄像机安装在一个固体物体上(尺子、木头或硬塑料材料等),使校准和校正参数能够正常工作。例如,如果你有Intel Realsense或zed相机,你可以跳过所有的部分,因为Realsense有自动校准功能,zed已经按出厂默认校准。下一步是分别校准两个相机。你可以按照这里:https://medium.com/@aliyasineser/opencv-camera-calibration-e9a48bdd1844进行校正。立体摄像机首先需要单相机校准,因为校正需要这些参数。使用棋盘格图像进行校准,使用至少20张图像以进行良好的计算。

左图和右图的例子。注意拍照的时候要同步,在校正中,即使小的差别也会影响结果。

这些图像会给我们提供摄像机所需的信息。为了更好的校准,你不能移动并获取同步的图像。你可以使用grab和retrieve函数来获得更接近的时间戳。对于拍摄图像,你可以使用这个代码:https://github.com/aliyasineser/stereoDepth/blob/master/getStereoImages.py,对于校准,你可以使用这个代码:https://github.com/aliyasineser/stereoDepth/blob/master/stereo_camera_calibration.py。关于代码:

  1. 立体标定:立体摄像机的摄像机标定。

  2. 立体校正:通过旋转和平移使它们在y轴上对齐,使这些摄像机观察到的每个点都在每个摄像机图像的同一列中。

OpenCV立体标定函数:

ret, K1, D1, K2, D2, R, T, E, F = cv2.stereoCalibrate(objp, leftp, rightp, K1, D1, K2, D2, image_size, criteria, flag)

我们要注意函数中的flags:

  • CV_CALIB_FIX_INTRINSIC: K和D个矩阵是固定的。这是默认标志。如果你校准好你的相机,你可以修正它们,所以你只会得到校正矩阵。

  • CV_CALIB_USE_INTRINSIC_GUESS: K和D个矩阵将被优化。对于这个计算,你应该给出经过良好校准的矩阵,以便(可能)得到更好的结果。

  • CV_CALIB_FIX_PRINCIPAL_POINT: 修复K矩阵中的参考点。

  • CV_CALIB_FIX_FOCAL_LENGTH: 在K矩阵中固定焦距。

  • CV_CALIB_FIX_ASPECT_RATIO: 固定长宽比。

  • CV_CALIB_SAME_FOCAL_LENGTH: 校准焦距,并设置Fx和Fy相同的校准结果。我对这个不熟悉,但我肯定它是特定的立体设置所需要的。

  • CV_CALIB_ZERO_TANGENT_DIST: 去掉畸变。

  • CV_CALIB_FIX_K1, …, CV_CALIB_FIX_K6: 移除K1到K6的畸变。这对实验非常重要。我不熟悉这些背后的数学,但我做的实验帮助了我很多。

结果中的R, T, E, F系数给出了两个相机之间的关系,我们将使用它们进行校正:

R1, R2, P1, P2, Q, roi_left, roi_right = cv2.stereoRectify(K1, D1, K2, D2, image_size, R, T, flags=cv2.CALIB_ZERO_DISPARITY, alpha=0.9)

在这个函数中,我们只有一个标志CALIB_ZERO_DISPARITY,它用于匹配图像之间的y轴。alpha值用于转换后的黑色部分,因为图像会旋转,我们的大小不会改变,所以一些图像会是黑色的,我们的原始图像会小得多。我设置了相机的值。选项是:

  • alpha=-1 -> 让 OpenCV 优化黑色部分。

  • alpha= 0 -> 旋转和切割图像,使没有黑色的部分。这个选项在大多数情况下会严重削减图像,你不会得到一个像样的高质量的图像,但值得一试。

  • alpha= 1 -> 进行变换,但不要切任何东西。

  • alpha=experimental-> 有时候什么都不管用。这意味着你应该试验这些值。在某个特定的alpha值,你可以有一些黑色的部分,但高质量的图像。我为我的相机找到了最好的0.9756,所以不要失去希望:)、S

R矩阵和P矩阵称为旋转矩阵和投影矩阵。R1和P1给出从第一个(左)到第二个(右)摄像机的旋转和位置。R2和P2是从二到一。从视差图中得到深度图需要Q矩阵。包括相机之间的距离,焦距等,用于深度地图的处理。当计算深度值时,不要忘记将在与校准工作相同的单位中获得坐标。有很多参数,所以最好仔细检查。

对于结果,应该去看我们的测试代码:https://github.com/aliyasineser/stereoDepth/blob/master/stereo_depth.py。如果我们阅读主要部分,我们会看到我们使用了畸变校正:

leftMapX, leftMapY = cv2.initUndistortRectifyMap(K1, D1, R1, P1, (width, height), cv2.CV_32FC1)

left_rectified = cv2.remap(leftFrame, leftMapX, leftMapY, cv2.INTER_LINEAR, cv2.BORDER_CONSTANT)

rightMapX, rightMapY = cv2.initUndistortRectifyMap(K2, D2, R2, P2, (width, height), cv2.CV_32FC1)

right_rectified = cv2.remap(rightFrame, rightMapX, rightMapY, cv2.INTER_LINEAR, cv2.BORDER_CONSTANT)

这意味着initUndistortRectifyMap函数可以同时实现图像的畸变校正和校准。对于左相机,我们使用K1(相机矩阵)和D1(失真矩阵)进行畸变校正,使用R1(从左到右旋转)和P1(从左到右投影矩阵)进行校正。在对remap进行变换后,我们将得到修正后的图像。对于右相机,我们会用相同的步骤做一遍,然后第一部分就完成了!总结一下过程:

这就是立体校准和标定。我们将在下一篇博客中讨论视差图的计算!

一些资源:

  • http://zone.ni.com/reference/en-XX/help/372916P-01/nivisionconceptsdita/guid-c9c3535b-faf7-4ade-9166-513a49d1b90a/

  • https://www.google.at/search?q=depth+map&source=lnms&tbm=isch&sa=X&ved=0ahUKEwjlqIq1xsjeAhUkglwKHahhDVIQ_AUIDigB&biw=1536&bih=732#imgrc=o7eiUTU5f3tKpM:

  • https://www.mathworks.com/discovery/stereo-vision.html

  • https://docs.opencv.org/3.0-beta/modules/calib3d/doc/camera_calibration_and_3d_reconstruction.html

英文原文:https://py.plainenglish.io/the-depth-i-stereo-calibration-and-rectification-24da7b0fb1e0

本文仅做学术分享,如有侵权,请联系删文。

下载1

在「3D视觉工坊」公众号后台回复:3D视觉即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复:相机标定即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配即可下载独家立体匹配学习课件与视频网址。

重磅!3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近3000星球成员为创造更好的AI世界共同进步,知识星球入口:

学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用,麻烦给个赞和在看~  

3D视觉工坊 CSDN认证博客专家 算法 3D视觉
个人公众号:3D视觉工坊。公众号特邀嘉宾及合伙人,先后就职于国内知名研究机构、自动驾驶公司、海康研究院,主要研究方向为深度学习、目标检测、语义分割、图像处理、自动驾驶感知算法等,CSDN博客专家。博主先后任职于国内知名研究院、知名大厂,致力于3D视觉算法、VLAM算法开发,涉及相机标定、手眼标定、结构光、点云后处理、三维重建等相关领域的研究,同时也是CSDN博客专家。3D视觉工坊坚持原创,近一年来输出了非常多的高质量文章,获得了粉丝的一致好评,我们将始终坚持走原创路线,打造一个铁杆粉丝的聚集区。
已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页
实付 49.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值