光流的概念最早是由Gibson在1950年提出的。 这是观察摄像面上的像素运动的空间运动物体的瞬时速度,利用图像序列中的像素在时域的变化和相邻帧之间的相关,找到在前一帧与当前帧之间存在的对应关系,计算相邻帧之间的物体的运动信息通常,光流由场景中前景对象本身的运动、摄影机的运动或这两者的运动引起。 其计算方法可分为三类:
(1)基于区域或特征的匹配方法
(2)基于频域的方法
)3)基于坡度的方法
简单地说,光流是观测成像平面上的空间运动物体的像素运动的“瞬时速度”。 光流的研究利用图像序列中像素强度数据的时域变化和相关性来确定每个像素位置的“运动”。 研究光流的目的是近似得到不直接从图像序列得到的运动场。
光流法先决条件:
(1)相邻帧间的亮度一定
)2)相邻视频帧的帧时间连续或相邻帧之间的物体运动相对“细微”;
(3)保持空间匹配性,即,同一子图像像素点具有相同的运动
这里有两个概念:
运动场实际上是物体在三维现实世界中的运动
光流是运动场在二维图像平面上的投影。
如上图所示,h中的像素点(x,y )移动到I中的) x u,y v )的位置,偏移量为) u,v )。
光流法被用于目标检测的原理。 给图像中的各个像素点赋予速度向量,形成运动矢量场。 在某个特定时刻,图像上的点与三维物体上的点一一对应,该对应关系能够通过投影来计算。 根据各像素点的速度向量的特征,可以动态分析图像。 如果图像中没有作用的目标,则光流向量在整个图像区域中连续变化。 图像中有运动物体时,目标和背景有相对运动。 运动物体形成的速度向量必然与背景的速度向量不同,可以计算出运动物体的位置。 需要注意的是,采用光流法进行运动物体检测时,计算量大,不能保证实时性和实用性。
光流法用于目标跟踪的原理:
(1)处理连续视频帧序列;
)采用一定的目标检测方法对每个视频序列检测可能出现的前景目标;
(3)如果前景目标出现在一个帧中,则可以随机生成(找到其代表性重要特征点),或者可以利用角点创建特征点)。
(4)对于两个后续相邻视频帧,查找在前一帧中出现的重要特征点在当前帧中的最佳位置,并且获得当前帧中前景对象的位置坐标;
(5)通过这样反复进行,能够进行目标的跟踪。