图像拼接技术包括特征点提取和匹配、图像配准和图像融合三大部分。
基于SRUF的特征点提取与匹配
为了使拼接具有良好的精度和鲁棒性，同时具有良好的实时性，本实验利用SURF算法完成了图像序列特征点的提取。
SURF算法又称为快速鲁棒特性，借鉴SIFT中近似简化的思想，近似简化了DoH中火星项链的二阶微分模板。 从而，模板只需要对图像进行滤波加上几个简单的加减运算，且该运算与滤波器模板的尺寸无关。 实验证明，SURF算法比SIFT运算速度快3倍左右，综合性能优于SIFT算法。
SURF特征点的提取和描述主要包括四个步骤。
1 )检测尺度空间极值。
2 )精炼特征点的位置。
3 )计算特征点描述信息。
4 )生成描述特征点的特征向量。
SURF的匹配算法是通过计算两个特征点蔑视算子之间的欧式距离得到的。 也就是说，找出特征点描述符pi和欧式距离最近，其次最近的两个邻接的特征点描述符qi '和qi '，然后计算pi和qi '以及pi和qi ' '这两个描述符之间的欧式距离的比r。 比值r小于预定阈值的规则被认为匹配成功，(pi，qi )一对点是图像序列中的一对匹配点，否则匹配失败。 这种匹配方法简单快捷，但会导致失配。 图像定位模块使用RANSAC进行误匹配点的筛选。
2、图像配准
图像注册是确定拼接图像之间重叠区域和重叠位置的技术，是整个图像拼接的核心。 本节采用基于特征点的图像配准方法，即通过匹配点对构建图像序列之间的变换矩阵，完成全景图像的拼接。
变换矩阵h的求解是图像配准的核心，其求解的算法流程如下。
1 )针对每个图像检测特征点。
2 )计算特征点之间的匹配。
3 )计算图像间变换矩阵的初始值。
4 )迭代精炼h变换矩阵。
5 )电感匹配。 用估计的h定义对极线附近的搜索区域，进而确定特征点的对应。
6 )重复4 )和5 )直到对应点的数量稳定。
图像序列之间的变换称为投影变换
在4组最佳匹配中，计算h矩阵的8个自由度参数hi=(I=0，1，7 )，将其作为初始值。
为了提高图像配准的精度，本节采用RANSAC算法对图像变换矩阵进行求解精炼，达到了良好的图像拼接效果。 RANSAC算法的基本原理可以用图9-1来说明。
图9-1:RANSAC算法
RANSAC算法的思路简单巧妙。 首先随机选择两个点。 这两点决定一条直线，位于此直线一定范围内的点称为此直线的支撑。 在多次重复这样的随机选择后，证实了具有最大支持集的直线是样本点集的拟合。 拟合误差距离范围内的点视为内点，它们构成一致集合，反之为外点。 根据算法的说明，如果只有少量的外点，则包含随机选择的外点的初始点集所确定的直线不受支持，并且应当注意，如果外点的比率过大，则RANSAC算法将失败。 在直线拟合示例中，由点集确定的直线至少需要两点； 对于透视变换，这种最小集合需要四个点。
图9-1中的蓝色点属于内点(正确点)，红色点属于外点)偏移点)。 此时，用最小二乘法拟合该数据。 实际的最佳拟合直线是横穿最多分数的蓝色实线。
3、图像合成
根据图像间变换矩阵h，变换对应的图像确定图像间的重叠区域，可以将融合目标图像映射到新的空白图像中形成拼接图像。 需要注意的是，普通摄像机在拍摄时会自动选择曝光参数，导致输入图像之间存在亮度差异，导致拼接图像缝合线的两端产生明显的明暗变化。 因此，在融合过程中有必要对缝合线进行处理。 进行图像拼接缝合线处理的方法有颜色插值、多分辨率样条技术等各种方法，本节采用快速简单的加权平滑算法处理步进问题。 该算法的主要思想是，图像的重叠区域的像素点的灰度值Pixel根据两张图像中对应的点的灰度值Pixel_L和_R的加权平均来获得，即，pixel=kpixel_l(1-k 图9-2是加权平滑算法的图。
图9-2 :加权平滑算法
通常，在0k1，即重叠区域中，沿着图像1到图像2的方向，k从1渐变到0，实现重叠区域的平滑拼接。 为了进一步增大图像重叠区域的点与两个图像的相关度，设定k=d1/(d1d2 )。 其中，d1、d2分别表示从重叠区域的点到两个图像重叠区域的左边界和右边界的距离。 即，使用式Pixel=Pixel_L Pixel_R进行缝合线处理。