在上篇相机模型中介绍了图像的成像过程，场景中的三维点通过“小孔”映射到二维的图像平面，可以使用下面公式描述：
通过小孔相机模型，可知假如从像点x向相机的中心 C 反投影一条射线xC−→，则该射线必定经过对应像点的三维空间点 X ，但显然仅仅通过一个像点无法确定X的具体位置，因为在射线 xC−→ 上的任意空间点都可以通过“小孔”映射为像点 x 。一个像点不行，那么如果两个相匹配的像点呢？
设x′是三维点 X 的另一个像点，其对应相机的中心为C′，那么从像点也反投影一条射线 x′c′−→− ，并且该射线也必定经过 X ，也就是说从一对相匹配的像点反投影两条射线，必定相交于空间三维点X，如下图
很显然，一对匹配的像点之间存在这某种约束关系，这种约束被称为两视图的对极约束。
本文主要介绍了两视图的对极约束-基础矩阵，并用几何和代数两种形式推导基础矩阵的表达形式以及从基础矩阵可以分解出相机的位姿（旋转和平移）。
对极几何对极几何描述的是两视图之间的内存射影关系，同一个三维点在两个不同的视角下的像点存在着约束关系，如下图三维点 X 在两幅图像的像点分分别为x,x′
对极几何主要涉及以下几个元素：
从上面的几何元素可知，对极几何和相机的内参、外参没有关系，和场景的结构也没有关系，仅和场景的一对匹配的像点有关系。
基础矩阵F给定一对图像（同一场景不同视角得到的图像），从上面的图可知，对于第一幅图像上的任一像点x，在第二幅图像中都有一条与之对应的对极线 l′ ，该对极线是像点 x 与过第一个相机中心C射线在第二幅图像上的投影，并且第二幅图像中与 x 相匹配的像点x′必定在该对极线上。因此，存在一个像点 x 到另一个图像上对极线l′的映射：
x→l′
基础矩阵 F 表示的就是这种从点到直线的映射。
该推导来自《计算机视觉中的多视图几何》。
要将一幅图像上的像点x映射到另一幅图像对应的对极线 l′ 可以分为两步：第一步，将像点 x 映射到另一幅图像上与之对应的对极线l′上的某点 x′ 上， x′ 是 x 的匹配点；第二步，连接对极点e′与点 x′ 得到的直线就是对极线 l′ 。
点通过平面转移 如下图，平面 π 不通过两相机中心，过第一个相机的中心 C 和像点x的射线与 π 相交于点 X 。该点X再投影到第二幅图像上得到像点 x′ ,这个过程称为点通过平面的转移。 2D单应 Hπ 指的是将射影平面上的点集 xi 映射到另一个射影平面的点集 x′i 上的射影变换，在实际情况中 xi 和 x′i 通常是两幅图像上的像点，每幅图像都被视为一个射影平面。 构造对极线 给点点 x′ ，通过 x′ 和对极点 e′ 的对极线 l′ 可以表示为： 基础矩阵F可以记为: F=[e′]×Hπ ,其中 Hπ 是一幅图像上像点到另一幅图像上的2D单应， [e′]× 是对极点 e′ 的反对称矩阵。由于 [e′]× 秩为2， Hπ 的秩为3，基础矩阵 F 的秩为2. 对极约束 向量的叉积，反对称矩阵[e′]× 在射影几何中，一条直线有两点确定，如上面对极线有像点 x′ 和对极点 e′ 确定，并且可以表示为这两个点的叉积形式，有 l′=e′×x′ 。 F的代数推导 该推导来自《视觉SLAM十四讲》 设以第一个相机作为坐标系三维空间的点 P=[X,Y,Z] ，其在两个相机的像点分别为 p1,p2 。由于第一个相机的中心作为世界坐标系的原点，也就是说第一个相机没有旋转和平移，通过小孔相机模型可得： 上式是对极约束的另一种表示，该式子中仅包含像点，相机的旋转和平移，中间的矩阵就是基础矩阵 F 。 式子 F=K−Tt×RK−1 ，可知假如相机的内参数 K 是已知的，提取中间的矩阵可到 通过上面的知道，对于匹配的像点p1,p2以及基础矩阵 F 有如下关系： 相机的相对位姿可以通过特征点匹配估计出来：
点 X 位于像点x和相机中心确定的射线上，其在另一幅图像上的像点 x′ 必然位于该射线在另一幅图像的投影也就是对极线 l′ 上。点 x 和点x′都是三维点 X 的像点，这样第一副图像上的像点集合xi和第二幅图像上的像点集合 x′i 是射影等价的，它们都射影等价于共面的三维点集合 Xi 。因此，存在一个2D单应 Hπ ，把每一个点 x 映射到对应的点x′上。
又由于 x′=Hπx （ Hπ 是将 x 变换为x′的单应）,带入上式可得： l′=[e′]×Hπx
定义 F=[e′]×Hπ
这样就得到了从点 x 到对极线l′的变换 l′=Fx
以上就是基础矩阵 F 的推导过程。
由于l′=Fx，而像点 x′ 在对极线 l′ 上，故可得到
(x′)Tl′=(x′)TFx=0
上式被称为对极约束，仅通过匹配的点对就可以求出两视图的基础矩阵 F 。
设有两个向量 a→,b→ ，则这两个向量的叉积仍然是一个向量，并且垂直于 a→,b→ 所在的平面。其坐标表示如下：
a→×b→=⎡⎣⎢0z1−y1−z10x1y1−x10⎤⎦⎥⎡⎣⎢x2y2z2⎤⎦⎥=(a→×)⋅b→
其中 a→× 称为向量 a→ 的反对称矩阵
a→×=⎡⎣⎢0z1−y1−z10x1y1−x10⎤⎦⎥
通过引入反对称矩阵，向量的叉积可以使用矩阵乘法的表示，形式非常简洁。
其中, K 是相机的内参，R,t是第二个相机相对于第一个相机的旋转和平移。
从 p1=KP 可以得到 P=K−1p1 ，带入第二个式子可得到：
p2=K(RK−1p1+t)
两边同时左乘 K−1 ，得到
K−1p2=RK−1p1+t
设 x1=K−1p1,x2=K−1p2 ，代入
x2=Rx1+t
两边同时左乘向量 t 的反对称矩阵t×,由于 t×t=0 ，消除 t
t×x2=t×Rx1
两边再同时左乘 xT2
xT2t×x2=xT2t×Rx1
由于 t×x2 是向量 t 和向量x2的叉积，同时垂直于向量 t 和向量x2，所以左边 xT2t×x2=0 ，得到
xT2t×Rx1=0
再将 x1,x2 换掉
pT2K−Tt×RK−1p1=0
pT2Fp1=0,其中F=K−Tt×RK−1
E=t×R
E被称为本质矩阵，其和基础矩阵相差相机的内参 K 。
pT2Fp1=0,其中F=K−Tt×RK−1
也就是说，仅通过匹配的点对（最少7对）可以计算出两视图的基础矩阵 F ，然后再从F中分解得到相机的位姿势。