文档介绍：航拍图像序列自动拼接技术与地图重建
航拍图像序列自动拼接是指将一组内容上相关的航拍图像自动拼接为一幅能够更为全面描述场景内容的全景图像的过程。鉴于视觉系统中存在的分辨率与视场范围之间的固有矛盾,为了保证较高的分辨率,单幅的航拍图像对应的场景区域通常较小,不利于准确、全面地观察和分析地面场景。而航拍图像自动拼接技术正是解决这一问题的有效途径。
航拍图像拼接主要包括配准和镶嵌两个步骤,其中的核心是图像配准。
人们已经提出了很多配准方法,如灰度相关法、相位相关法、基于特征的方法等。其中,基于特征的方法首先在两幅输入图像中分别提取具有不变性的特征点,然后通过搜索比较得到一组匹配的特征点对,并利用这些特征对之间的对应关系估计出全局变换参数,最后借助估算出的变换模型将两幅图像校正到同一平面上,从而实现配准。相对于其他方法,基于特征的配准方法能够容忍更大的图像差异,有助于获取稳定的配准结果。
基于特征的配准方法主要有三个步骤:提取特征点、搜索匹配点和计算转换矩阵。
坐标系统
在图像采集过程中需要将客观世界的3D场景投影到摄像机的2D像平面上,这个投影可以用成像变换来描述。成像变换涉及到不同坐标系之间的变换,考虑到图像采集的最终结果是要得到计算机能够处理的数字图像,这里介绍一下对3D空间景物成像时所涉及到的坐标系统。
(1)世界坐标系也称真实或现实世界坐标系统XYZ,表示场景点在客观世界的绝对坐标(所以也称为客观世界坐标系统)。一般的3D空间场景都是用这个坐标系统来表示的。
(2)摄像机坐标系以摄像机(观察者)为中心制定的坐标系统xyz,将场景点表示成以观察者为中心的数据形式,一般常取摄像机的光轴为Z轴。因为在场景中也许有多个摄像机,而每个摄像机都会有自己的坐标系。在许多情况下,图像平面坐标系是摄像机坐标系的一部分。根据透视投影公式可建立图像坐标系与摄像机坐标系之间的转换关系式:
(3-5)
用矩阵形式表示为:
(3-6)
(3)像素坐标是用来表示图像阵列中图像像素位置的坐标,它也称图像阵列坐标或网格坐标。因为摄像机采集到的图像以标准电视信号的形式输入计算机,经计算机中专用的数模转换板变换为数字图像,每幅数字图像在计算机内为的数组,行列的图像中每一个元素(称为像素,pixel)的数值即是图像点的亮度(或灰度)。对于图像中每一个像素的坐标值,表示该像素在图像中的列数,表示该像素在图像中的行数,此时和都是正整数。这种表示方法特别方便计算机程序对图像进行处理,因为它和计算机程序中的数据结构二维数组对应,写起程序来相当方便。为了提高处理图像的精度,还可以引入子像素(subpixel)的概念。所谓子像素是指像素与像素之间的点,其坐标用小数表示。
(4)图像平面坐标是用来表示场景点在图像平面上的投影的坐标系。由于在像素坐标系中每一个像素的坐标分别是该像素在数组中的行数与列数,并没有用物理单位表示出该像素在图像中的位置,因而需要再建立以物理单位(例如cm)表示的图像坐标系。该坐标系以图像内某一点为原点,轴与轴分别与轴平行,如下图所示,其中表示以毫米为单位的图像坐标系的坐标。
图 1像素坐标系与图像平面坐标系的关系
其中,世界坐标系与摄像机坐标系之间是刚体转换关系。设空间中某一点P在世界坐标系和摄像机坐标系下的坐标分别是与,其转换关系式如下:
(3-7)
其中,为33旋转矩阵;为三维平移向量;;为44矩阵。合并式(3-4)、(3-6)和(3-7)得:
(3-8)
其中,,;Xw=(xw,yw,zw,1)T;M为34矩阵,称为投影矩阵;M1完全由决定,它们只与摄像机内部结构有关,是摄像机内部参数;M2完全由摄像机相对于世界坐标系的方位决定,是摄像机的外部参数。摄像机标定就是要得到内外参数,从而确定投影矩阵M。
成像模型
一般的成像系统通常将三维场景变换为二维灰度或彩色图像,这种变换可以用一个从三维空间到二维空间的映射来表示:
(3-9)
此种映射通常用到两种几何变换:正交投影和透视投影。透视投影是最常用的成像模型,单灭点透视投影可以用针孔成像模型来近似表示,(假设相机的焦距为f)。设坐标系的设置如下图:
图 2
当把图像平面对称对小孔的另一侧时,得下图:
图 3
则投影公式为:,,其矩阵形式为:
,简写为
假设地面是一个水平面,z轴垂直于地面向下,则投影矩阵T为:
但是实际上摄像机得到的图像是按照三灭点透视投影成像的,而且地面由于存在建筑物或者是山地,地面并不是一个平面。所以当摄像机和拍摄物体的处于某种特殊关系时,上述情况就必须考虑,下面对此进行具体的分析。
摄像机的运动
摄像机在世界坐标中的位置如下图所示。一般摄像机的运动可以分为以下几种基本运动方式:
平移:摄像机的运动平行于成像平