一分钟详解鱼眼镜头标定基本原理及实现

点击上方“3D视觉工坊”,选择“星标”

干货第一时间送达

3D视觉工坊的第61篇文章

前言

在VSLAM中,经常会使用鱼眼镜头或者广角镜头。本文主要分为理论部分与鱼眼镜头标定实践两部分,其中理论部分,主要参考《A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses》,作者为Juho Kannala和Sami S. Brandt,写于2006年,同时这篇文章的作者在2004年也写了一篇与鱼眼镜头标定相关的论文《A Generic Camera Calibration Method for Fish-Eye Lenses》,同样值得参考。


一 理论部分

对于大多数具有窄角甚至广角镜头的传统相机,针孔相机模型伴随着镜头畸变是一个比较不错的近似。但是针孔模型不太适用于鱼眼镜头。鱼眼镜头一般被设计用来覆盖相机前方的整个半球形视场,视角非常大,约180°。然而,不可能通过透视投影在有限的图像平面上投射半球形视场。因而,鱼眼镜头服从某些其他投影模型。这就是为什么鱼眼镜头本身固有的畸变不应该仅被认为是与针孔模型的偏差。


很多作者对鱼眼镜头的适合的可能模型进行了研究。许多方法的思想是将原始鱼眼镜头成像为遵循针孔模型,畸变参数是通过变换后强制按直线来估计的,但问题是这些方法并不能完全校准。最近,鱼眼镜头相机的第一种自动校准方法也出现了,Claus 和Fitzgibbon[1]提出了一种畸变模型,它同样允许相机运动和镜头几何的同时线性估计,而Thirthala和Pollefeys[2]使用径向一维摄像机的多视图几何来估计非参数相机模型。此外,Barreto和Daniilidis最近的工作引入了径向基本矩阵来纠正广角镜头的失真[3]。然而,这些方法的重点更多的是在于自动校准技术,而不是真实镜头的精确建模。


由于透视投影模型不适用于鱼眼镜头,我们使用更灵活的径向对称投影模型。

640640640

不失一般性,甚至权重都被取消了。这是因为我们可以将r作为奇函数扩展到负数一侧,而奇数幂跨越连续奇函数集。对于计算,我们需要确定(6)中的各项。


为了使得本文不那么枯燥,关于鱼眼镜头标定的理论部分我们仅介绍到这里,如果感兴趣的读者,可以去仔细研读论文《A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses》。


二 实践部分

在上述论文作者的主页,作者提供的Matlab标定代码:Camera Calibration Toolbox for Generic Lenses:http://www.ee.oulu.fi/~jkannala/calibration/calibration.html。


此处,笔者简单为大家介绍一下OpenCV中关于鱼眼标定的流程。

首先,可以参考OpenCV Documentation中提供的鱼眼镜头标定相关函数:

https://docs.opencv.org/3.2.0/db/d58/group__calib3d__fisheye.html


具体鱼眼镜头标定步骤如下:

本次实验,使用小觅相机(标准版)进行实验,小觅相机的镜头视角较大,大约在140°左右。小觅相机实物如下图2所示。

640

图2 小觅相机(标准版)实物图


Step-1: 制作标定板。可以是圆,也可以是棋盘格,当然也可以是圆环。此处我们选择4*11的OpenCV提供的圆形标定板。为了使得标定结果趋于收敛,在工作距离附近,在不同姿态下,采集近20~30张标定图片,如下图3所示。

640

图3 标定板采集样图

Step-2:进行形态学处理。此处是由于在采集图片过程中,难免会在图片中引入环境光带来的噪声。


Step-3:检测每一张图片中的圆心角点坐标,并排序。(OpenCV中findCirclesGrid函数同时解决了这个问题)。


Step-4: 进行标定。(cv::fisheye:calibrate)


Step-5: 计算重投影误差。在Step-3中,cv::fisheye::calibrate返回值为总重投影误差,当然也可以进一步计算x和y方向的重投影误差值。


Step-6:(此步非必须)进行去畸变,进一步验证标定参数的正确性。

组合使用函数:

1)fisheye::estimateNewCameraMatrixForUndistortRectify
2)cv::fisheye::initUndistortRectifyMap
3)remap


即可获得畸变矫正后的效果图。


经过鱼眼标定后,使用标定好的参数进行去畸变后效果图(使用函数

void estimateNewCameraMatrixForUndistortRectify(InputArray K, InputArray D, const Size &amp;image_size, InputArray R,<br>&nbsp;&nbsp;&nbsp;&nbsp;OutputArray P, double balance = 0.0, const Size&amp; new_size = Size(), double fov_scale = 1.0)

进行估计新的相机矩阵用于畸变矫正或者校正时,图4为参数balance设为0时的畸变矫正效果图,图5为参数balance设为1时的效果图)。

640

图4 鱼眼模型标定后,畸变矫正,balance=0时


640

图5 鱼眼模型标定后,畸变矫正效果图,balance=1.0时

如果选用针孔模型来进行标定,去畸变后的效果图如下所示。

使用针孔模型进行标定后,同样对图3进行去畸变效果图如下(图6为balance=0,图7为balance=1时):

640

图6 针孔模型标定后,畸变矫正效果图,balance=0时

640

图7 针孔模型标定后,畸变矫正效果图,balance=1时

由图可见,使用针孔模型去畸变后,整个画幅的图像的畸变不符合「枕形」或者「桶形」,因而使用针孔模型来进行标定鱼眼镜头是不太适合的。


三 跋

最后,留个大家一个问题可以去思考,作者在文章中提到,对于圆形的中心在经过透视变换后,由于较大的畸变存在,椭圆的中心已经不再对应圆形的中心。那么,对于椭圆的中心构象偏差,又该如何去矫正呢?

640

福利:对于文章中提到的小觅相机,如有购买需求,可前往天猫【mynt小觅旗舰店】,联系客服说出暗号——「3D视觉工坊」,120元专属优惠券即刻收入囊中。PS:建议大家9月1日再行购买,会有开学季促销活动,部分优惠可与本号专属优惠券叠加使用。

上述内容,如有侵犯版权,请联系作者,会自行删文。

星球成员,可免费提问,并邀进讨论群

640?

三天内如退出,可无条件退款

参考文献:

[1] Kannala J, Brandt S S. A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses[J]. IEEE transactions on pattern analysis and machine intelligence, 2006, 28(8): 1335-1340.

[2] Claus, D. and Fitzgibbon, A. W.: “A rational function lens distortion model for general cameras”, Proc. CVPR, pp. 213-219, 2005

[3] Thirthala, S. and Pollefeys, M.: “Multi-view geometry of 1D radial cameras and its application to omnidirectional camera calibration”, Proc. ICCV, pp. 1539-1546, 2005.

[4] Barreto, J. P. and Daniilidis, K.: “Fundamental matrix for cameras with radial distortion”,Proc. ICCV, pp. 625-632, 2005.

3D视觉工坊 CSDN认证博客专家 算法 3D视觉
个人公众号:3D视觉工坊。公众号特邀嘉宾及合伙人,先后就职于国内知名研究机构、自动驾驶公司、海康研究院,主要研究方向为深度学习、目标检测、语义分割、图像处理、自动驾驶感知算法等,CSDN博客专家。博主先后任职于国内知名研究院、知名大厂,致力于3D视觉算法、VLAM算法开发,涉及相机标定、手眼标定、结构光、点云后处理、三维重建等相关领域的研究,同时也是CSDN博客专家。3D视觉工坊坚持原创,近一年来输出了非常多的高质量文章,获得了粉丝的一致好评,我们将始终坚持走原创路线,打造一个铁杆粉丝的聚集区。
相关推荐
©️2020 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页
实付 49.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值