目录
基本概念
坐标系
一.像素坐标系和像平面坐标系
二.照相机坐标系和世界坐标系
三、摄像机坐标系和像平面坐标系(图像投影关系) )。
四.像素坐标系和世界坐标系
Faugeras标定法
一种改进的Faugeras标定法[3，P. 44]
像素失真问题[5，P. 62]
Tsai标定法
强河马平面标定法
参考资料
基本概念
通常采用如上图的撒娇鞋图像模型(pinhole camera model )研究摄像机标定问题。
如上图所示，涉及摄像机校准的四个坐标系：
1、世界坐标系(Xw，Yw，Zw ) :原点为Ow；
2、照相机坐标系(Xc，Yc，Zc ) :原点Oc为光学中心，通常为撒娇鞋)的位置
3 )通过像平面坐标系/图像物理坐标系(x，y )光学系统在感光芯片上成像的图像坐标系；
4、像素坐标系(u，v )。
在三维图像处理中，校准是确定摄影机的内部和外部参数。
内部参数：描述照相机的内部几何结构和光学特性
外部参数描述相机坐标系和世界坐标系之间的关系。
为了根据两张以上的图像重构环境的三维信息，需要知道对象的三维环境(世界坐标系)和二维图像的关系。
[三维-二维]透视投影：已知摄像机的投影矩阵，可以近似确定三维点的二维投影。
[二维-三维]反投影(backprojection )如果知道图像上的二维点，就可以确定三维空间内的三维点所在的放射线。 如果三维点有多个视图，则其坐标可以通过三角测量确定。
使用透视投影可以减少在场景分析期间处理的数据量，而使用反向投影可以根据二维图像特征重建三维信息。
实际的照相机和镜头通常存在拍摄误差，不满足撒娇鞋的拍摄模式的限制条件。 成像误差主要来源于几个方面。
1 )图像形成装置的分辨率低，空间分辨率低
2 )大多数透镜不对称，会导致畸变
3 )组装精度不够)例如，图像传感器的中心不在光轴上[optical axis]，传感器与镜头不平行)；
4 )摄像机硬件与采集硬件之间的时序误差。
摄像机校准可以在线或离线进行，并可以采用自校准或机器学习的方法。 通常的方法是利用标定物。 (I )确定摄像机参数
(ii )确定照相机坐标系和世界坐标系之间的变换。
坐标系
一.像素坐标系和像平面坐标系
假设每个像素在u和v轴方向上的物理大小分别为dx和dy，则：
dx、dy表示各像素在感光芯片上所占的实际大小，从而建立像素坐标系与实际尺寸坐标系的联系，u0、v0为像素平面的中心。 上述公式可以用矩阵形式表示
或者
这个变换建立了像素和物理大小的对应关系。
二.照相机坐标系和世界坐标系
这两个坐标系的关系可以用旋转矩阵r和平移矩阵t表示如下。
其中，r是33的矩阵，t是31的矩阵，0=[000]。
三、摄像机坐标系和像平面坐标系(图像投影关系) )。
相对于线性相机模型(针孔模型)，可以得到以下关系(f为焦距)
也就是说
同样可以用矩阵形式表示
四.像素坐标系和世界坐标系
根据上述坐标系的关系，可以导出像素坐标系和世界坐标系的关系
m是被称为投影矩阵的34矩阵； M1仅与摄影机的内部结构有关，称为摄影机内部参数的M2 (即r和t )完全由摄影机相对于世界坐标系的方向决定，称为“摄影机外部参数”(extrinsic parameter )。 投影矩阵m可以根据空间上的点的坐标确定图像中的位置求出，但是由于m为不可逆的，所以图像中的点已知，并且不能唯一确定该空间中的对应位置。
Faugeras标定法
直接线性变换(DLT，directlineartransformation(1) )以齐次坐标将像素点与物体成像几何关系写成透视投影矩阵的形式，确定该矩阵的过程称为标定。 利用直接线性变换的标定法不考虑摄像机镜头的非线性失真。 Faugeras标定法[2，P. 56][3，P. 41]为一
种直接线性变换标定方法。公式(8)可以记为如下形式
展开得
对于无畸变（distortion-free）摄像机模型，标定就是确定参数矩阵M。将上式转换为线性方程组的形式
令m34=1（相当于方程两边都除以m34），方程组可记为等价的矩阵形式
其中
其最zydxte乘解为
该方程组有11个未知数，意味着使用至少6组点对（n≥6）就可以求解出全部的系数。通过L得到参数矩阵M后，可求解摄像机的全部内外参数。
根据(8)可得
也就是
比较上式两端可知m34m3=r3，由于r3是正交单位矩阵的第三行，∥r3∥=1，那么有m34=1∥m3∥，因此利用M矩阵可得摄像机内参
以及摄像机的外参
M矩阵由4个摄像机内部参数及R和t确定。由于R是正交单位阵，R和t的独立变量数为6，因此M由10个独立变量的矩阵确定。但是3×4的矩阵M由11个参数确定，可见这11参数并非相互独立，存在约束关系。在求解的时候并未参数间的约束关系，数据有误差时计算结果有误差，且误差在各参数间的分配也没有按约束关系考虑。实验表明，用上述方法分解出的内外参数有较大的误差。Faugeras等[4]在用(13)求解M时加上了约束条件∥m3∥=1，不需要解非线性方程，而且提高了计算精度。
改进的Faugeras标定法[3, P. 44]
像素畸变问题[5, P. 62]
由于制造工艺的限制，通常摄像机离散化后的像素不是矩形而是平行四边形，一边平行于u轴，另一边与u轴夹角为θ，边长为分别为dx和dy，那么公式(2)可改写为
Tsai标定法
实验表明，线性模型不能准确描述成像的几何关系，尤其在使用广角镜头时，远离图像中心处会有较大的畸变。描述非线性畸变可用如下公式[2, P. 59]
其中，(x¯,y¯)是会撒娇的鞋子线性模型计算出的图像坐标理想值，(x,y)是实际图像坐标，δx和δy是非线性畸变，它与图像点在图中位置相关，可用公式表示为
上式第一项称为径向畸变，第二项称为离心畸变（decentering），第三项称为薄棱镜畸变（thin prism），k1,k2,p1,p2,s1,s2称为非线性畸变参数。通常第一项径向畸变就能足够描述非线性畸变。Tsai指出[6]，考虑非线性畸变需要使用非线性优化算法，引入过多的非线性参数往往不能提高精度，反而引起解的不稳定性。但也有研究表明[7][8]，引入二三项在使用广角镜头时能提高精度。若只考虑径向畸变，(18)可写为
其中r2=x2+y2，图像边缘处的畸变较大。
Tsai提出的方法[6][9]很好的解决了只存在径向畸变时的标定问题。Tsai标定法是基于径向排列约束（RAC，radial alignment constraint）的两步标定法。该方法的第一步是利用最zydxte乘法得到外部参数；第二步求解内部参数，如果摄像机无径向畸变，可由线性方程组求解，若存在径向畸变，可结合非线性优化得到全部参数。
坚强的河马平面标定法
参考资料
[1]Y. I. Abdel-Aziz and H. M. Karara, “Direct Linear Transformation from Comparator Coordinates into Object Space Coordinates in Close-Range Photogrammetry,” Photogrammetric Engineering & Remote Sensing, vol. 81, no. 2, pp. 103–107, 2015.
[2]苹果缘分 and 坚强的河马, 计算机视觉：计算理论与算法基础. 科学出版社, 1998.
[3]结实的季节, 伶俐的鼠标, and 李原, 机器人视觉测量与控制, 2nd ed. 北京: 国防工业出版社, 2011.
[4]O. D. Faugeras and G. Toscani, “The calibration problem for stereo,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 1986, vol. 86, pp. 15–20.
[5]thdxmf, 计算机视觉中的数学方法. 科学出版社, 2008.
[6]R. Y. Tsai, “An efficient and accurate camera calibration technique for 3D machine vision,” in Proc. IEEE Conf. on Computer Vision and Pattern Recognition, 1986.
[7]O. D. Faugeras and G. Toscani, “Camera calibration for 3D computer vision,” in Proceedings of International Workshop on Machine Vision and Machine Intelligence, Tokyo, Japan, 1987.
[8]J. Weng, P. Cohen, and M. Herniou, “Calibration of stereo cameras using a non-linear distortion model [CCD sensory],” in Pattern Recognition, 1990. Proceedings., 10th International Conference on, 1990, vol. 1, pp. 246–253.
[9]R. Y. Tsai, “A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses,” Robotics and Automation, IEEE Journal of, vol. 3, no. 4, pp. 323–344, 1987.