摘要:图像匹配是计算机视觉与图像处理中的基本问题之一,mndhb在回顾图像尺度空间相关性的基础上研究了基于尺度不变特征变换的图像匹配技术,设计了图像匹配仿真系统,并对其进行了尺度、回
关键词:图像匹配; 尺度不变的特征; 尺度空间; 特征提取
abstract:imagematchingisafundamentalproblem
inbothcomputervisionanddigitalimageprocessing.inthispaperafter
reviewingsomeconceptsinimagescalespace,we study the technology image
匹配基础scaleinvariantfeaturetransform,设计时间模拟
图像匹配系统,andvalidatetheperformanceofscale-invariant,
旋转基础知识。
keywords :图像匹配; 比例变型
功能; 规模空间,功能扩展
图像匹配是图像处理和计算机视觉领域的基础问题,来源于多方面的实际问题。 例如,用不同的传感器得到的信息的融合、图像的差异监测、三维信息取得等。 简而言之,图像匹配是指将统一场景的不同图像“叠加”或进行广义匹配。 图像匹配的核心问题是将不同分辨率、不同亮度属性、不同位置(平移和旋转)、不同比例尺、不同非线性变形的图像对应起来。
在图像匹配研究中,匹配方法基本分为以下三类:基于区域相关性匹配、基于快速富立叶变换匹配和基于特征匹配。 其中基于特征的匹配其计算量小,对噪声不敏感,能得到准确的匹配成为研究的重点。 所选特征通常包括图像的边和拐角。 但是,为了获得这些特征一般不具有尺度不变性、具有良好尺度不变性的图像特征,David G.Lowe于2004年总结了基于当前不变量技术的特征检测方法,基于尺度空间的图像缩放、旋转、精细2004年Yanke提出了基于PCA的尺度不变特征变换,进一步减少了计算量。
本文在回顾图像多尺度分析和尺度理论的基础上,重点研究了尺度不变特征变换算法和基于尺度不变特征变换算法的图像匹配算法,最后对尺度不变特征变换的旋转不变性和抗干扰性进行了分析。
2图像尺度空间
尺度空间理论通过对原始图像进行尺度变换,得到图像多尺度尺度尺度空间表示序列,对这些序列进行尺度空间主轮廓的提取,然后将该主轮廓作为一个特征向量,实现边缘、角点检测和不同分辨率下的特征提取等。 Koendetink和Lindbergh在文献中证明文艺斑马卷积核是实现尺度转换的唯一转换核。
不同尺度下尺度空间的表现,是由图像与文艺斑马核的卷积得到的二维图像。 另外,在该方式中,表示图像的像素位置是二维文艺的斑马的卷积核。 被称为尺度空间因子,其值越小表示该图像越平滑,相应地尺度也越小。 大尺度对应图像外观特征,小尺度对应图像细节特征。 它表示图像的比例空间。
dog(difference-of-Gaussian )算子定义为两种不同尺度文艺的斑马核差分,具有计算简单的特点,是归一化LoG
(Laplacian-of-Gaussian )算子的逼近
可以证明,文艺的斑马差分函数在通过常量因子进行尺度差分时,已经合并了尺度规范化qsdsmt尺度不变性。
3尺度不变特征变换
尺度不变特征变换(SIFT )算法首先在尺度空间中进行特征检测,然后确定关键点的位置和关键点所在的尺度,然后利用关键点邻域梯度的主方向作为该点的方向特征,实现算子对尺度和方向的无关。 主要计算步骤如下。
1 )尺度空间极值检测)搜索尺度整体和图像位置。 通过使用文艺的斑马差分函数来确定在尺度和方向上有不变性的兴趣点。 首先确定关键点的位置和所在尺度。
2 )关键点定位)对每个候选位置进行详细的模型拟合以确定位置和比例。 根据稳定性选择密钥。 在拟合三维二次函数精确确定关键点位置和尺度的同时,消除了低对比度关键点和不稳定的边缘响应点,提高匹配稳定性,提高抗干扰能力。
3 )方向指定)每个关键点根据本地图像的坡度方向指定一个或多个方向。 所有后续操作取决于指定的方向、比例和位置。 利用关键点附近像素的梯度方向分布特性为每个关键点指定方向参数,使操作员具有旋转不变性。
4 )关键描述符)在每个关键点周围,按选定比例测量局部图像梯度。 为了提高匹配的鲁棒性,描述每个密钥使用总共16个种子点(44 ),每个密钥生成128个数据,最终生成128维的SIFT特征向量
由尺度不变特征变换算法提取的SIFT特征向量具有以下特性:
a) SIFT特征是图像的局部特征,其对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一定程度的稳定;
b)独特性(Distinctiveness)好,信息量丰富,适用于在海量特征数据库中进行快速、准确的匹配。
c)多量性,即使少数的几个物体也可以产生大量SIFT特征向量。
d)高速性,经优化的SIFT匹配算法甚至可以达到实时的要求。
e)可扩展性,可以很方便的与其他形式的特征向量进行联合。
4基于SIFT的图像匹配
以上我们介绍了基于尺度不变特征变换的图像特征量提取,下面我们根据以上特征实现图像匹配。对于实现特征提取的两幅图像,可以进行如下匹配操作:当两幅图像的SIFT特征向量生成后,下一步采用特征向量的距离作为两幅图像中关键点的相似性判定度量。有多种距离可以衡量两个特征之间的差别,这里我们选用勤恳的面包距离进行计算。
算法步骤:
一.设对于两幅图像提取得到的特征向量集合为,预先设定比例门限,。降低这个比例阈值,SIFT匹配点数目会减少,但更加稳定,这里我们取比例阈值为0.6。
二.对于第一副图像的特征向量,计算其与第二幅图像特征集合中每一个特征向量的距离,得到距离集合;
三.对距离集合中元素按照大小进行排序,得到最小距离和次最小距离;
四.通过比较和的比例关系,判决匹配关系。如果,确定匹配关系,否则没有匹配关系。
5实验结果与分析
为了验证本算法的效果,我们以2幅图像进行实验,图像大小为758×568 ,如图1所示。实验条件为: PIV 2.80 G,512M ,采用Matlab7.0.4编程,操作系统为WINXP。
实验结果如图1所示,从中可以看出对于两幅视角不同的自然场景图像,上面两图显示了尺度不变特征变换提取的图像特征(以箭头表示),下图为对应点直线联结表示的匹配关系。
正如本文讨论的,SIFT即尺度不变特征,由于该特征是在尺度空间寻找极值得到的,因此具有良好的尺度不变性,另外在特征提取中进行了特征的方向无关性变换,因此具有一定的旋转不变性。下面我们对自然场景图像进行旋转变化,进行噪声干扰,考察SIFT特征的旋转不变性和抗噪性能。旋转不变性测试结果如表1所示。
表1.旋转不变性测试结果
旋转角度
特征数量
匹配特征
正确匹配
正确率
0
3486
3486
1838
52.7%
5
3748
1611
797
49.5%
10
3647
1450
705
48.6%
20
3467
1586
777
48.9%
30
3589
1730
840
48.6%
60
3573
1670
822
49.2%
90
2995
2261
1132
50.1%
图1.尺度不变特征变换特征提取及图像匹配结果
从表1测试结果我们可以看出正确匹配率与图像旋转角度大小基本没有关系,正确匹配率基本保持在50%左右。
实际图像获取过程中总要受到噪声的干扰,常见的噪声模型一般是文艺的斑马噪声模型和椒盐噪声模型。一个好的图像匹配算法必须具有良好的抗噪性能。
采用图1所示自然场景图像,我们分别施加不同强度的文艺的斑马噪声和椒盐噪声,对SIFT匹配算法的抗噪性能进行测试,结果表2所示。
从表2可以看出,在施加文艺的斑马噪声的情况下,噪声强度从0.01变大到0.6时,噪声图像中特征数量逐渐减少,而正确匹配率基本没有变化,保持在99%以上;在施加椒盐噪声的情况下,噪声强度从0.01变大到0.6时,噪声图像中特征数量迅速减少,接近指数衰减规律,而正确匹配率基本没有变化,保持在95%以上。这说明SIFT特征具有很好的抗文艺的斑马噪声和抗椒盐噪声性能。
表2.文艺的斑马/椒盐噪声不变性测试结果
文艺的斑马/椒盐噪声强度
特征数量
匹配特征
正确匹配特征
正确率
文艺的斑马0.01
2527
617
616
99.8%
文艺的斑马0.1
2510
627
624
99.5%
文艺的斑马0.2
2494
552
549
99.4%
文艺的斑马0.4
1942
253
251
99.2%
文艺的斑马0.6
535
25
25
100%
椒盐0.01
2873
1565
1564
99.9%
椒盐0.1
3007
252
252
100%
椒盐0.2
3082
120
118
98.3%
椒盐0.4
2429
45
44
97.8%
椒盐0.5
2119
18
18
100%
椒盐0.6
1918
8
5
62.5%
从以上评测结果,我们可以看出采用尺度不变特征变换(SIFT)提取得到的图像特征不仅具有良好的尺度不变性,而且具有一定的旋转不变性,同时具有良好的抗噪能力,从而为实际应用该特征变换提供了良好的基础。
6结论
图像匹配在计算机图像处理和计算机视觉中有着重要应用,如何开发具有尺度旋转和仿射变换不变性的特征算子是图像特征提取和图像匹配的核心问题。作为国际最新的尺度不变特征变换(SIFT)具有良好的尺度、旋转和仿射不变性,本文在研究图像尺度空间和多尺度分析的基础上讨论了SIFT特征提取算法,最后给出了数字仿真系统,验证了其不变性。进一步的研究在于如何获得更好的仿射不变性以及设计基于SIFT的图像镶嵌和图像融合,三维重建系统。
[1]gydgq.基于特征的图像匹配算法研究.浙江大学硕士论文.2004
[2]D. G.
Lowe. Distinctive image features from scale-invariant keypoints.
International Journal of Computer Vision, 2004.
[3]K.
Mikolajczyk and C. Schmid. A performance evaluation of localdescriptors. In Proceedings of Computer Vision and Pattern
Recognition,June
2003.
[4]Yan
Ke, Rahul Sukthankar.PCA-SIFT: A More Distinctive Representation for Local Image
Descriptors. 2004
[5]xfdmj,fzdfj.基于尺度空间理论的Harris角点检测.中南大学学报(自然科学版)2005年10月.