文档介绍：摘要
本文主要研究基于单目图像序列和基于双目深度图的三维重建,前者主要利用实验室的小型无人机搭载航拍摄像头获取图像序列,并研究根据这一序列的图像对未知环境中的地形或者建筑物等进行迅速高效的三维重建。基于双目的三维重建主要为解决无人机低空飞行时导航信息不足的问题,可以无为人机提供障碍物信息和三维重建后的环境信息,辅助无人机导航。本课题研究内容有以下几点:
(1)硬件平台与简单障碍物环境搭建。本文基于双目的三维重建等算法最终将要运行在搭载在无人机上的 DSP 开发板上,故首先依据课题要求搭建起了嵌入式平台开发环境和双目平台。此外,为验证双目三维重建和障碍物测距算法,本课题模拟真实的无人机飞行环境,搭建了一个简易的有障碍物的环境,为算法的验证创造了条件。
(2)相机标定以及特征匹配等算法实现。标定是双目摄像头在使用前必须进行的操作,对于双目相机标定的准确性直接影响匹配的准确性;对于单目航拍图像序列来说,同样需要对鱼眼相机的畸变进行校正。对于双目重建,本文首先研究了如何利用半全局匹配算法获取深度图,接着利用三角测量原理恢复空间三维点云,最后利用 OpenCV 与 OpenGL 混合编程显示出三维点云,实现基于双目的三维重建。对于单目图像序列三维重建,本文首先研究了传统的 SIFT 特征提取算法和 Harris 角点提取算法,然后研究利用运动中恢复结构以及光束法平差重建三维稀疏点云,最后研究如何利用基于图像块的多视图几何算法对场景以及物体进行恢复与重建。
(3)双目三维重建以及避障系统实现。本文将双目匹配、深度图计算、三角测量、空间点恢复、障碍物距离计算等算法集成在一起,编写完成了一个基于双目的三维重建以及避障系统,该系统能够为无人机提供三维环境信息以及实时给出障碍物距离信息。
(4)单目图像序列三维重建系统实现。基于单目航拍图像序列的三维重建过程比较繁琐和复杂,本文将图像输入、特征点检测及匹配、稀疏点云重建、集束调整、稠密点云重建以及最终的三维模型输出这一整套流程进行了集成,编写了一个基于航拍图像序列对场景或物体进行三维重建的系统,该系统能够高效、自动地进行三维重建并可以将重建结果输出并保存。
关键词:图像序列,特征提取,双目视觉,多视图几何,三维重建
ABSTRACT
This dissertation mainly focuses on monocular-based image sequences and binocular-based depth image three-dimensional reconstruction. The former kind of reconstruction is based on image sequences acquired from our laboratory’s Unmanned Aerial Vehicle (UAV) which equipped with an aerial camera, and to study rapid and efficient three-dimensional reconstruction of the unknown terrain or environment buildings with these images. The purpose of binocular-based depth image three-dimensional reconstruction is solving the problem of lacking the navigation information when the UAV flying at low-altitude. It can provide reconstructed environmental information and obstacle information for the assist of the UAV’s navigation. The contents of this dissertation are as follows:
Hardware platform and simple obstacle environment build. Binocular-based three-dimensional reconstruction algorithms will ultimately run on a DSP development board Installed in a UAV, so we first build an Embedded Development Platform and Binocular Platform. In addition