声明:以下内容引用酷酷小熊猫视觉贫民窟十四讲,感谢作者。
对于像我这样刚入门的axdxxm(Caibi )来说,理解对极约束公式中的几个步骤还很困难,但是为了将来,我会写下个人理解相关内容。
另一方面,作为从对极约束导出以下图的例子,想求出两帧的图像I1、I2之间的运动。 设从第一帧到第二帧的运动为r、t。 两个照相机的中心分别是O1、O2。 这里,假设I1有特征点p1,并且特征点p1对应于I2。
图1代数地看这里出现的几何关系。 在第一帧坐标系中,p的空间位置为:
根据式1针孔照相机模型,可知两个像素点p1、p2像素位置为:
在式2中,k是摄像机内参数矩阵,r、t是两个坐标系的摄像机运动。 使用齐次坐标,也可以将上式写成乘以非零常数而成立的(up )
to a scale (等式:
公式3问题(1)来了。 为什么使用齐次坐标,并且乘以非零的常数也成立等式?
说明如下。 齐次坐标以投影几何(或投影几何)为例。 首先,齐次坐标是指用于投影几何的坐标系,就像用于欧洲几何的笛卡尔坐标一样(具体参照wiki )。 射影几何在摄影变换中研究不变的几何性质(具体见wiki )。 以针孔相机模型为例,来说明为什么齐次坐标乘以非零常数会显示相同的点。 下图:
在以上附图中,o表示相机光源的中心,是像素坐标系中的点,P1、P2、P3是相机坐标系中的空间点,P1、P2、P3都被投影在像素坐标系中的p点上。 导出照相机的内参矩阵时,按照以下公式写为齐次坐标形式,以使等式的左右维度相同。
因此,P1、P2、P3这3点与齐次坐标的关系如下。
Z1 * p=K * P1; Z2 * p=K * P2; Z3 * p=K * P3
于是p=(k*p1 )/Z3 ) k*p2 )/Z3 ) k*p3 )/Z3,可知即使对齐次坐标乘以非零常数,依然显示相同的投影点。 空间点p的位置只不过发生了变化,但都发现在这种放射线上,齐次坐标乘以不同的非零常数,不同距离的空间点投影在像素平面上。 这就是放射线。这表明单目照相机的一张图像不知道深度。 另外,也请参考其他博客。
从以上说明可以看出,齐次坐标使相机模型更容易计算,更灵活,乘以非零常数也能表现出相同的点。
继上式3之后,命令
从等式4可以看出,以上图1中的两个像素点在照相机归一化平面上的坐标。
将公式4引入公式3,得到、最终得到以下内容。
式5同时左乘两边,则:
在公式6的两侧同时左乘,得到。
由于公式7,因此:
重新代入公式8后,如下所示。
式9这两个式都被称为对极约束。 通过定义基础矩阵f和本质矩阵e,进一步简化了上式:
公式10 E和f只有照相机内参数不同,求出e或f后可以通过分解求出r和t。 通常内参是已知的,解e更方便。
二、本质矩阵根据定义,是本质矩阵,它是3 3的矩阵,内有9个未知数。 e满足以下条件:
)1) e满足对极约束),对极约束是等式为零的约束,因此e乘以任意非零常数仍然满足对极约束。 这在不同尺度上称为等价,即尺度等价性。
)2)因此,可以证明本质矩阵e的奇异值必须是[,,0]T的形式。 这被称为本质矩阵的内在性质。 (导出中可以看到其他博客)
)另一方面,平移和旋转各有3个自由度,因此共有6个自由度。 但是,由于尺度的等价性,e实际上有五个自由度。
E的求解:
e有五个自由度这一事实表明,我们最少能以五分解e。 但是,e的内在性质是非线性性质,在求解线性方程时会带来麻烦。
问题(2)本质矩阵e为什么尺度等价?
问题(3)本质矩阵e的奇异值为什么是[,,0]T,怎么求?
问题(4)本质矩阵e为什么有五个自由度?
对这三个问题的解答墙裂推荐有道云笔记(预链接),该笔记从最基础的矩阵理论出发,一步一步地说明本质矩阵、基础矩阵以及单应矩阵的性质和求解方法,是初学者必备的。