基于图像的三维模型重建——基础介绍

点击上方“3D视觉工坊”,选择“星标”

干货第一时间送达

本文由知乎作者梦寐mayshine授权载,不得擅自二次转载。原文链:https://zhuanlan.zhihu.com/p/126308951

一、背景介绍

三维模型重建的流程:

  • ->三维点云获取(三维点云=三维空间中散点,没有结构,属性:颜色+法向量+空间坐标,能够反映场景大致结构,散乱点没有结构数据冗余,存储量要求大)

  • ->几何结构恢复(图形学方法,拓扑结构,点云->网格的表面重建,减少数据存储量,提升渲染逼真度)

  • ->场景绘制(渲染过程,知道相机参数,自动添纹理,网格贴上纹理,Autodesk,blinder)

二、相关介绍

1、三维点云的获取方式

  • 无序图像:事先不知道地点和拍摄时间

  • Li-dar:激光雷达,准确适用不同规模的场景,车载/机载/无人机雷达,无人驾驶采用激光雷达,效率高,成本高,高效便捷

  • ki-nect:微软开发,小巧灵便,实时网格建模,kfusion文章,通过time flight获取周围环境的点云数据,同时得到彩色图+深度图=一帧点云,速度快,精度不高,几十cm-1,2米之间,室内场景合适,算法框架,实时建模,kucation,得到环境的mash(彩色),slam+建模框架,目标跟踪估计相机姿态,符号距离场,涵盖三维重建和slam方向的基本知识

  • 单目多视角:运动恢复结构得到相机姿态->多视角稠密重建->半稠密点云,需要算法和计算资源,得到工业界利用较多,多视角视频/无序图像对场景建模,匹配要暴力两两匹配,但slam中有序图像不需暴力匹配,前后帧,窗口检测匹配,在回环检测匹配量较大,很难做到实时

  • 双目立体视觉:标定两个摄像机通过视差,得到三维深度信息图,得到点云。存在很多空洞

2、基于图像的三维模型重建

3、重建案例

  • 无人机航拍图像,获取侧面完整信息,多视角摄像头

4、商业软件

  • Acute3D:https://www.bentley.com/en/products/brands/contextcapture 法国创业公司2011开始,15年被bentley收购

  • Altizure:https://www.altizure.cn/ 香港中文大学的在线重建平台,与大疆合作

  • Agisoft PhotoScan:http://www.agisoft.cn/  建模、模型特征提取

参考书

  • computer vision for visual effects: 14年,计算机视觉基础,语言易懂,与工业界相关,章节内容在工业界应用

  • Computer vision algorithms and applications: 偏向基础,公式

  • multiple view geometry:工具书,代码参考公式实现

  • an invitation to 3-D vision

  • Computer Vision: a modern approach

  • 视觉Slam十四讲:公式、代码,参考书,与SLAM在稠密点云前有很多重叠

基本要求

  • C++编程:类,继承,重载,模板,设计模式

  • Ubuntu环境

  • 图像处理的基本概念和操作,滤波,插值,缩放

  • 矩阵和向量运算以及基本的优化知识,分解,共轭,梯度下降

上述内容,如有侵犯版权,请联系作者,会自行删文。

推荐阅读

吐血整理|3D视觉系统化学习路线

那些精贵的3D视觉系统学习资源总结(附书籍、网址与视频教程)

超全的3D视觉数据集汇总

大盘点|6D姿态估计算法汇总(上)

大盘点|6D姿态估计算法汇总(下)

机器人抓取汇总|涉及目标检测、分割、姿态识别、抓取点检测、路径规划

汇总|3D点云目标检测算法

汇总|3D人脸重建算法

那些年,我们一起刷过的计算机视觉比赛

总结|深度学习实现缺陷检测

深度学习在3-D环境重建中的应用

汇总|医学图像分析领域论文

大盘点|OCR算法汇总

重磅!3DCVer-知识星球和学术交流群已成立

3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导,830+的星球成员为创造更好的AI世界共同进步,知识星球入口:

学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

欢迎加入我们公众号读者群一起和同行交流,目前有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群,请扫描下面微信号加群,备注:”研究方向+学校/公司+昵称“,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加群或投稿

3D视觉工坊 CSDN认证博客专家 算法 3D视觉
个人公众号:3D视觉工坊。公众号特邀嘉宾及合伙人,先后就职于国内知名研究机构、自动驾驶公司、海康研究院,主要研究方向为深度学习、目标检测、语义分割、图像处理、自动驾驶感知算法等,CSDN博客专家。博主先后任职于国内知名研究院、知名大厂,致力于3D视觉算法、VLAM算法开发,涉及相机标定、手眼标定、结构光、点云后处理、三维重建等相关领域的研究,同时也是CSDN博客专家。3D视觉工坊坚持原创,近一年来输出了非常多的高质量文章,获得了粉丝的一致好评,我们将始终坚持走原创路线,打造一个铁杆粉丝的聚集区。

OpenVINO计算机视觉—实例实战

11-02
手把手讲授如何搭建成功OpenVINO框架,并且使用预训练模型快速开发超分辨率、道路分割、汽车识别、人脸识别、人体姿态和行人车辆分析。得益于OpenVINO框架的强大能力,这些例子都能够基于CPU达到实时帧率。 课程的亮点在于在调通Demo的基础上更进一步:一是在讲Demo的时候,对相关领域问题进行分析(比如介绍什么是超分辨率,有什么作用)、预训练模型的来龙去脉(来自那篇论文,用什么训练的)、如何去查看不同模型的输入输出参数、如何编写对应的接口参数进行详细讲解;二是基本上对所有的代码进行重构,也就是能够让例子独立出来,并且给出了带有较详细注释的代码;三是注重实际运用,将Demo进一步和实时视频处理框架融合,形成能够独立运行的程序,方便模型落地部署;四是重难点突出、注重总结归纳,对OpenVINO基本框架,特别是能够提高视频处理速度的异步机制和能够直接部署解决实际问题的骨骼模型着重讲解,帮助学习理解;五是整个课程准备精细,每一课都避免千篇一律,前一课有对后一课的预告,后一课有对前一课的难点回顾,避免学习过程中出现突兀;六是在适当的时候拓展衍生,不仅讲OpenVINO解决图像处理问题,而且还补充图像处理的软硬选择、如何在手机上开发图像处理程序等内容,帮助拓展视野,增强对行业现状的了解。 基本提纲: 1、课程综述、环境配置 2、OpenVINO范例-超分辨率(super_resolution_demo) 3、OpenVINO范例-道路分割(segmentation_demo) 4、OpenVINO范例-汽车识别(security_barrier_camera_demo) 5、OpenVINO范例-人脸识别(interactive_face_detection_demo) 6、OpenVINO范例-人体姿态分析(human_pose_estimation_demo) 7、OpenVINO范例-行人车辆分析(pedestrian_tracker_demo) 8、NCS和GOMFCTEMPLATE 9、课程小结,资源分享
©️2020 CSDN 皮肤主题: 书香水墨 设计师: CSDN官方博客 返回首页
实付19.90元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值