文档介绍：经典光流法综述
叶思
三维场中P点的运动投影到二维平面后形成的M点的二维运动场
光流场则是指图像灰度模式的表面运动,它是一种像素级的运动,理想情况下,光流场和二维运动场互相吻合,但实际上并不经常如此。
这里我们可以认为光流场实际就是在时间序列上帧与帧之间图像的像素级运动,后面的部分,我们将讨论如何求出视频中运动物体的光流场,而运动场和光流场的不一致问题,则不在我们此次讨论范围内。
Lucas-Kanade(LK)
pyramidal LK(PRLK)
LK算法的原型最初是一篇讲述配准问题的论文,该文主要论述了如何对两幅图像中的感兴趣区域进行配准,这实际也是一种求光流的方法,但这里配准过程中使用的是牛顿迭代的方法,而经典LK光流法中使用的是解线性方程组的方法。
《An Iterative Image Registration Technique with an Application to Stereo Vision》发表在1981年的《Proceedings of Imaging Understanding Workshop》上。该文通过空间的灰度梯度信息,求解两幅图像之间相应区域的匹配问题,它可以用在各种线性变换下,甚至是旋转变换。它被引用的次数达到了2330多次。
Lucas-Kanade(LK)算法
Lucas-Kanade(LK)算法
上图表示两幅图像某区域 R的匹配, F(x) 和 G(x)分别表示两幅图像在相应坐标下的像素灰度值,我们的目标是找到相应的向量h,使得在感兴趣的区域 R中,F(x+h) 和 G(x)的差别最小,这里的差别也就是:
Lucas-Kanade(LK)算法
一维坐标下两条曲线的匹配
我们的算法是基于 F(x) 上在 x 邻域上具有线性性质的假设
当 h 较小时,我们可以得出:
:牛顿迭代法
牛顿迭代法是一种求方程根的方法,如图所示蓝色曲线是我们要求的方程,所求目标便是图中所示的曲线与x轴的交点,是经过n次迭代后的结果,在收敛的情况下,它是不断向正确的值逼近的。
由
可以得到:
于是我们令:
Lucas-Kanade(LK)算法
根据我们的线性假设,曲线线性较好的地方求出的h必然更为准确,而线性性能的度量可以用曲线的二阶导来表示,二阶导较小的地方如拐点,即二阶导为零处则线性最好,所以我们给每个x处得出的h一个权值: