SSIM是一个广泛使用的图像质量评价指标，它是基于人眼观看图像时会提取其中的结构化信息的假设。
SSIM是一种全参考的评价方法，对于图像x和图像y，其SSIM计算方式如下:
上式中l(x,y)是用均值来估计亮度，c(x,y)是用方差估计对比度，s(x,y)是用协方差估计结构相似度。
所以SSIM定义为：
可以看出SSIM满足以下性质：
对称性：SSIM(x,y)=SSIM(y,x)
有界性：SSIM(x,y) <= 1
SSIM(x,y)=1当且仅当x和y完全相同。
MSSIM上面介绍的单尺度SSIM需要在特定的配置下才能表现良好，而MSSIM对不同分辨率的图像都能保持性能稳定。
MSSIM的流程如上图所示。将参考图像和失真图像作为输入，然后分别依次迭代的使用低通滤波器和1/2降采样。假设原始图像为Scale 1，最高尺度为Scale M经过M-1次迭代得到。对于第j个尺度，只计算对比度c(x,y)和结构相似度s(x,y)。仅在Scale M计算亮度相似度l(x,y)。如上图所示。
最终的SSIM是将各个尺度的结果连接起来：
alpha,beta,gamma用于调整各个分量的权重。为了简化，通常令：
跨尺度校准
对于MSSIM一般对每个尺度令alpha=beta，那么如何选择不同尺度的alpha和beta参数（即确定不同scale的相对权重）？
上图中，每一行的MSE都相同，每一列的scale都相同。对于给定的8bit灰度图像，我们可以合成上面的失真图像表。这里有5个scale，12个失真水平，共60幅图像。可以看到每行的MSE都相同，但是它们的感知质量却差别很大，这说明不同尺度的失真对感知质量的影响不同。
我们使用10幅不同内容的（人脸、自然风景、植物、人造物体等）64x64的图像，构建了10个上面的失真表（共600幅失真图像）。有8个受试者，观测距离固定为每度观测视角32个像素距离。每个人依次看10组图像，对不同尺度的图像进行比较，每个尺度选择出一幅他们认为质量相同的图像。例如上图中标红的5幅图像，观测者认为它们质量相同。每个人选择的结果会被记录，平均计算得到最终测试结果，对测试结果计算得到：
实验结果
在八个数据集上测试MSSIM的表现结果:
DatabaseResultsNonlinear fitting codeSROCCKROCCPLCCRMSETID2013MSSSIMOnTID2013NonlinearFittingTID20130.78590.60470.83290.6861TID2008MSSSIMOnTIDNonlinearFittingTID0.85420.65680.84510.7173CSIQMSSSIMOnCSIQNonlinearFittingCSIQ0.91330.73930.89910.1149LIVEMSSSIMOnLIVENonlinearFittingLIVE0.95130.80450.94898.6188IVCMSSSIMOnIVCNonlinearFittingIVC0.89800.72030.91080.5029Toyama-MICTMSSSIMOnMICTNonlinearFittingMICT0.88740.70290.89270.5640A57MSSSIMOnA57NonlinearFittingA570.84140.64780.86030.1253WIQMSSSIMOnWIQNonlinearFittingWIQ0.74950.57400.809513.4486Weighted-Average 参考《Multi-scale structural similarity for image quality assessment》
https://sse.tongji.edu.cn/linzhang/IQA/Evalution_MS_SSIM/eva-MS-SSIM.htm
感兴趣的请关注微信公众号Video Coding