光流方法的目标是完成对图像点的跟踪，其中假设存在一个输入图像I、一个跟踪的点x和另一个图像块t，完成图像块t与输入图像I的匹配。
文章对礼貌篮球-Canade光流法进行了总结
概述了ZG DPJ-can ade (前向添加，FA )算法，引入了组合算法和Inverse方法。 因而，根据该组合形成的四种方法分别是前向添加(FA )。 正向组合(fc )和新提出的反向组合(IC )算法、反向隔离(ia )算法。 对这四种方法的文章分别提出了算法目标、算法推导、算法对wrap矩阵的要求、算法计算复杂度
除了四种方法的原理外，文章还介绍了几种优化方法如何实现上述光流的计算。 从风中烧鹅雅致的西装介绍，文章介绍了典雅西装法的原理和对典雅西装法的改进。 风中烧鹅高雅的西装法是对典雅西装法的近似。 在典雅的西装法Hessian矩阵中使用雅可比近似时，典雅的西装法会成为烤风中鹅的典雅西装。 在Hessian矩阵中使用c*I (对角为c，其他元素为0 )的矩阵时，典雅的西装法为坡度下降法。
细心的篮球-Kanade光流法概述直接法采用光度值不变约束，可以表示为
t(x )=I ) w ) x； p ) )
I表示匹配的图像，t表示模板图像。 w表示有关x和p的函数。 当此函数对平移建模时
W=[x p1y p2]
如果是仿射变换
w=[(1P1 ) XP3YP5P2X ) 1P4 ) YP6]=[1P1P2P31P4P6]xy1
这里有六个参数表示仿射变换。
为了能解决上述问题。 精细的篮球等引入了前向量化(faia )方法，运动模型的金额参数使用了依赖于运动模型制作的单一运动模型。 之后，研究人员在其上放置了前向信息识别(fcia )、ICIA )信息识别(inversecompositionalimagealignment )、Iaia )信息识别(inverseaditionalignment )
看上面的名词堆，有点头晕，可以看到他们都来到了图像对齐的周围。 那么，为什么要使用LK光流法呢？ LK是这四个中的FAIA。 那是因为原来的光流法计算太慢了。 然后，我们将光流用于运动估计。 因此，可以根据运动模型减少光流法的计算量。 增量方式(更新方式forwardinverseadditivefaiaiacompositionalfciaicia的前后比较
正向方法对输入图像进行包括仿射变换和辐射增量参数化，反向方法对输入图像和模板图像两者进行参数化，其中，输入图像对仿射变换进行参数化，模板图像对仿射增量进行参数化，因此
参数化过程主要计算：图像梯度、位置对运动参数导数、运动参数增量。 在前向方法中Hessian是运动参数的函数，提高效率的主要思想是交换模板图像和输入图像的角色。
后方方法在迭代中Hessian是固定的。
前向方法和后向方法在目标函数上不太一样。 一种情况是，所有运动向量p都是针对I (被匹配图像)进行的，但是前向方法中的迭代的微小量p是使用I计算的，后路方法中的p是使用t计算的。 所以在计算雅可比矩阵时，一个微分在p处，另一个在0处。 因此，用雅可比矩阵计算Hessian矩阵，后者的计算结果是恒定的。
例：
FIA目标函数(前向) ) ) ) ) ) ) ) ) )。
x[I(w ) x； pp ) ) t(x ) ) 2
ICIA目标函数(后向方法)
x[t(x； p ) I(w ) x； p ) ) 2
使用一楼随心所欲的金鱼展开FAIA (前方方法)的目标函数
x[I(w ) x； p ) iwppt(x ) ) 2
ICIA (逆向途径)在意的金鱼展开
x[t(w(x； 0 ) I(w ) x； p ) ) twpp ) 2
雅可比矩阵是
Wp=[x，0，y，0，1000，x，0，y，0，1 ]
仅与xy相关联，图像I的梯度是w(x； p )计算的后方逼近中图像t的梯度为w(x； 因为用0 )进行计算，所以Hessian矩阵不依赖于p。 后一种方法对模板图像进行参数化，Hessian矩阵只需要计算一次。 这是因为模板是反复过程(p的优化)的各个步骤
固定的。因此会减小计算量。而对输入图像参数化, 由于输入图像的位置是运动的函数, 因此运动参数变化后, 梯度需要重新求解.Compositional 与 Additive对比
通过增量的表示方式来区分方法. 迭代更新运动参数的时候，如果迭代的结果是在原始的值(6个运动参数)上增加一个微小量，那么称之为Additive，如果在仿射矩阵上乘以一个矩阵(增量运动参数形成的增量仿射矩阵)，这方法称之为Compositional。两者理论上是等效的，而且计算量也差不多。
算法的目标FAIA:
∑x[I(W(x;p+Δp))−T(x)]2FCIA: ∑x[I(W(W(x;Δp);p))−T(x)]2
ICIA以及,IAIA: ∑x[T(W(x;Δp))−I(W(x;p))]2
对于warp的要求
FAIA: W(x,p) 对于 p 可微.
FCIA: warp集合包含identitywarp, warp集合包含在Composition操作上是闭的(semi-group), 其中包括Homograph, 3D rotation等.
ICIA: semi-group, 另外要求增量warp可逆, 其中包括Homograph, 3D rotation等, 但不包括piece wise affine.
IAIA: 适用于2D平移, 2D相似, 2D仿射等.
目标函数为
∑x[I(W(x;p+Δp))−T(x)]2
更新的方式为
步进的计算方法为
Δp=H−1∑x[I(W)(x;p)−T(x)]
算法每个步骤中的时间复杂度
伪代码
FCIA
目标函数为
更新方式为
步进的计算
Δp=H−1∑x[I(W)(x;p)−T(x)]
ICIA
为了避免花费很多时间来计算hessian矩阵,如果该矩阵是恒定的,那么只需要计算一次.然后事实上Hessian矩阵是关于 p 的函数,很多研究给出了该矩阵的近似计算方法,然而很难估计近似的效果,有的时候近似不是很完善.提出该方法的出发点是交换图像和模板,
文章给出了前向和反向的方法是等效的,并给出了证明.
对比IAIA发现ICIA的迭代中不需要对图像梯度进行wrap, 另外计算Hessian中同样如此.
仍然是交换I和T. 这样可以避免每个迭代中计算梯度图像.
update
p←p+Δp
实际上这种方法能够使用的运动很少, 对于warp的要求很高, 因此不常用. 文中之后给出了the Inverse Additive 和 Compositional Algorithms 方法在 Affine Warps中的等效性.
总结 两个前向方法的计算复杂度相似,后向方法几乎相等.后向方法的速度远比前向方法要快.前向additive可以用于任何变形(warp),反向compositional只能用于warps that form groups. 反向additive 可以用于simple 2D linear warps such as translations and affine warps.
如果不进考虑效率的话可以使用两种前向方法.前向compositional的方法中Jacobian是常量,因此有一定的优势.
如果效率很重要的话,那么后向compositional方法是首选,推导很简单,很容易确定.
雅克比矩阵和残差计算的方式有关, 由于 compositional 计算误差的方式会使得雅克比矩阵为常数,通常采用compositional的形式
梯度下降方法的近似文章介绍了4种方法分别是风中的烧鹅典雅的西装, LM, 梯度下降和Hessian矩阵对角近似. 对这些方法文章分别进行了分step性能, iteration性能等的测试.
典雅的西装法中通过对Hessian使用雅克比矩阵近似可以得到风中的烧鹅典雅的西装.
Algorithmorder of the Taylor approximationsHessianwork better atThe Gauss-Newton Algorithmfirst orderapproximations to the HessianThe Newton Algorithmsendond orderSteepest Descent-indentity matrixfurhter away from lcoal local minimaThe Levenberg-Marquardt Algorithmcombine diagonal and full Hessianerror gets worse 结论 Gauss-Newton 和 Levenberg-Marquardt的收敛性能类似, 但跟另外2种方法稍好.Levenberg-Marquardt实现的效率和Gauss-Newton接近, 并且不好好于风中的烧鹅典雅的西装. 算法的选择 噪声，如果图像的噪声比较大，那么最好使用反向算法，反之使用前向方法．关于效率的已经讨论过了． refer project mainpage https://www.ri.cmu.edu/research_project_detail.html?project_id=515&menu_id=2612.https://www.cs.cmu.edu/afs/cs/academic/class/15385-s12/www/lec_slides/Baker&壮观的篮球.pdf