2024年1月18日发(作者：新高考数学试卷评析与分析)
第 46 卷 第 12 期2020 年 12 月自 动 化 学 报ACTA AUTOMATICA SINICAVol. 46, No. 12December, 2020结合全局与局部变化的图像质量评价高敏娟 党宏社 魏立力 王海龙 张选德 11234摘 要 图像所包含的信息是通过灰度值在空域的变化呈现的. 梯度是度量变化的基本工具, 这使得梯度成为了目前大多数图像质量评价算法的重要组成部分. 但是梯度只能度量局部变化, 而当人类视觉系统(Human visual system, HVS)感知一幅图像时, 既能感知到局部变化, 也能感知到全局变化. 基于HVS的这一特性, 本文提出了一种结合全局与局部变化的图像质量评价算法(Global and local variation similarity, GLV-SIM). 该算法利用Grünwald-Letnikov分数阶导数来度量图像的全局变化, 利用梯度模来度量图像的局部变化. 然后结合二者计算参考图像和退化图像之间的相似度谱(Similar-ity map), 进而得到图像的客观评分. 在TID2013、TID2008、CSIQ与LIVE四个数据库上的仿真实验表明, 较之单一度量局部变化的方法, 本文算法能更准确地模拟HVS对图像质量的感知过程, 给出的客观评分与主观评分具有较好的一致性.关键词 图像质量评价, 全局与局部, Grünwald-Letnikov分数阶导数, 梯度模引用格式 高敏娟, 党宏社, 魏立力, 王海龙, 张选德. 结合全局与局部变化的图像质量评价. 自动化学报, 2020, 46(12):2662−2671DOI 10.16383/.c190697Combining Global and Local Variation for Image Quality AssessmentGAO Min-Juan1 DANG Hong-She1 WEI Li-Li2 WANG Hai-Long3 ZHANG Xuan-De4Abstract The information contained in an image is presented by the changes of gray value in spatial nt is the basic tool to measure changes, which makes gradient become an important ingredient of most im-age quality assessment algorithms. However, gradient can only measure local changes, while when human visual sys-tem (HVS) perceives an image, it can perceive both local and global changes. Based on this characteristic of HVS,this paper proposes an image quality assessment algorithm by combining global and local variations similarity(GLV-SIM). The algorithm uses Grünwald-Letnikov fractional derivative to measure the global changes and usesgradient magnitude to measure the local changes of the image. Synthesizing the two aspect changes, similarity mapbetween reference image and distorted image is calculated, and then objective score of the image is obtained. Simu-lation experiments on four databases TID2013, TID2008, CSIQ and LIVE show that, comparing with the algorithmonly considering local changes, the proposed algorithm can more accurately simulate the perception process of HVSon image quality and can obtain better consistency between objective scores and subjective words Image quality assessment, global and local, Grünwald-Letnikov fractional derivative, gradient mag-nitudeCitation Gao Min-Juan, Dang Hong-She, Wei Li-Li, Wang Hai-Long, Zhang Xuan-De. Combining global and loc-al variation for image quality assessment. Acta Automatica Sinica, 2020, 46(12): 2662−2671 图像是人类视觉感知和计算机处理系统的重要信息载体, 图像质量的好坏直接影响着人们的视觉体验和图像的后续处理. 然而由于成像系统和环境等因素的限制, 图像在采集、存储和传输过程中, 会不可避免的引入噪声、模糊等现象, 造成图像质量的退化[1−3]. 为了有效地对图像质量进行控制或增强, 必先明确如何度量图像质量, 这催生了对图像质量评价(Image quality assessment, IQA)问题的研究.图像质量评价根据人的参与情况, 可分为主观评价和客观评价[4]. 主观评价方法邀请志愿者对图像质量进行打分, 容易受到观测者个体因素的影响,通常需进行多次重复试验并取平均意见分值(Meanopinion score, MOS) 作为最终的质量评分. 该方法费用高、 耗时长, 不能嵌入实时系统中, 因而使用收稿日期 2019-10-08 录用日期 2019-12-15Manuscript received October 8, 2019; accepted December 15,2019国家自然科学基金(61871260, 61871259), 陕西科技大学人工智能交叉学科PI团队培育专项基金资助Supported by National Natural Science Foundation of China(61871260, 61871259) and Shaanxi University of Science andTechnology Artificial Intelligence Interdisciplinary PI Team Cul-tivation Special Project本文责任编委 黄庆明Recommended by Associate Editor HUANG Qing-Ming1. 陕西科技大学电气与控制工程学院 西安 710021 2. 宁夏大学数学统计学院 银川 750021 3. 宁夏师范学院数学与计算机科学学院 固原 756000 4. 陕西科技大学电子信息与人工智能学院西安 7100211. School of Electrical and Control Engineering, Shaanxi Uni-versity of Science and Technology, Xi＇an 710021 2. School of Mathematics and Statistics, Ningxia University, Yinchuan750021 3. School of Mathmatics and Computer Science, Ningx-ia Normal University, Guyuan 756000 4. School of ElectronicInformation and Artificial Intelligence, Shaanxi University of Sci-ence and Technology, Xi＇an 710021
12 期高敏娟等: 结合全局与局部变化的图像质量评价2663范围受到限制. 客观评价方法模拟人对图像质量的感知过程, 构建与主观评价结果相一致的评价算法.根据评价过程有无真实图像(Ground truth)作为参考, IQA分为全参考、部分参考和无参考评价[5],本文研究全参考IQA问题.广泛应用的全参考IQA算法有均方误差(Meansquared error, MSE)[6]和峰值信噪比(Peak signalnoise ratio, PSNR)[7], 二者通过计算参考图像与退化图像之间对应像素点的差异来度量图像质量损失, 计算简单且容易嵌入图像处理模型中, 但未考虑图像在空域的结构和HVS感知机理, 评价结果与主观MOS值的一致性较差. 2004年, 结构相似性(Structure similarity, SSIM)[8]的提出受到研究者的广泛关注. 该算法假设HVS能够自适应地提取场景中结构信息, 并融合亮度、对比度、结构三方面特征来计算参考图像与退化图像之间的相似性. SSIM的评价性能与MSE、PSNR相比有明显提高, 被认为是IQA领域具有里程牌意义的算法. 随后, 基于SSIM框架, 研究者提出一系列改进算法, 如MS-SSIM[9]、IW-SSIM[10]、3-SSIM[11], 以及文献[12−15]中的算法等. 2011年, Zhang等[16]提出特征相似性(Feature similarity, FSIM)算法, 该算法假定HVS依据底层视觉特征的相似程度来判定图像质量, 并以相位一致性为第一特征, 梯度模为第二特征, 计算参考图像和退化图像的相似度谱, 然后以相位一致性作为视觉显著性度量来对相似度谱进行加权平均. FSIM算法获得了较好的评价效果, 目前已成为全参考IQA的基准(Benchmark)算法.图像中所包含的信息是通过灰度值或者色彩在空域的变化来呈现的, 这使得度量变化的特征(Feature) 广泛应用于图像质量评价中. 梯度是度量变化的基本工具, 这使得梯度成为了目前很多IQA算法的基本组成部分. 例如, 文献[17]直接将梯度模作为局部特征, 构造了GSIM (Gradientsimilarity)算法; 文献[18]利用方向导数度量每个像素点周围四个方向上变化, 估计该点为边界的可能性, 提出ESSIM (Edge strength similarity) 算法;文献[19]通过度量参考图像和退化图像之间超像素亮度相似性(Superpixel luminance similarity)、超像素色度相似性(Superpixel chrominance simil-arity)以及像素点梯度模相似性(Pixel gradientsimilarity), 构造了SPSIM (Superpixel-based simi-arity) 算法; 文献[20]综合梯度模、各向异性和局部方向性构建DASM (Directional anisotropic stru-ture measurement) 特征, 提出基于DASM的评价算法; 文献[21]以梯度模为特征, 标准差为池化方式, 提出了GMSD (Gradient magnitude similar-ity deviation)算法; 可以看出, 这些算法的构造都用到了梯度特征, 且梯度特征对算法的评价性能起到了重要的作用. 此外, DOG (Difference of Gaus-sian) 滤波和小波变换也是工程中经常使用的度量变化的工具, 自然地可被用作图像质量评价的特征.例如, 文献[22]提出了基于DOG的图像质量评价算法, 以及文献[23]提出了基于哈尔小波的HaarPSI(Haar wavelet-based perceptual similarity) 算法.梯度、DOG以及小波均度量局部变化, 但HVS对图像进行观测时, 既能感知到局部信息, 也能感知到全局信息. 如当人在观测一幅图像时, 一方面,能够感知到图像中的前景和背景, 并能够对整幅图像的语义信息有所理解, 这依赖于HVS对图像全局信息的感知; 另一方面, HVS具有多尺度聚焦功能, 能够自适应地感知到图像中感兴趣的局部细节.如我们在观测图1时, 会自然的把小孩的部分看作是图像前景, 草地的部分看作是图像背景; 同时, 人眼会易于关注到感兴趣的区域, 如小孩所在的区域,尤其是脸部区域. 为模拟HVS的这一感知特点, 在本文中, 我们通过分别度量图像在空域上全局与局部的变化来刻画图像的全局信息与局部信息, 提出了一种结合全局与局部变化的图像质量评价算法(GLV-SIM), 算法利用Grünwald-Letnikov分数阶导数来度量图像的全局变化, 利用梯度模来度量图像的局部变化. 在公开数据库的实验结果表明, 本文算法给出的客观评分能够获得与主观评分较好的一致性.本文结构安排如下: 第1节介绍如何度量图像在空域的全局变化和局部变化; 第2节结合全局与 图 1 Child-swimming图像Fig. 1 The image of child-swimming
2664自 动 化 学 报46 卷局部变化定义IQA算法GLV-SIM; 第3节通过数值实验讨论全局与局部变化特征相结合对图像对比变化的刻画能力, 以及分析本文算法的评价效果;第4节为本文工作的总结和展望.1 度量图像全局与局部变化1.1 利用分数阶导数度量图像全局变化分数阶微积分是整数阶微积分在形式上的推广, 研究阶次为分数的问题, 由法国数学家Hopit-al在1695年写给Leibniz的信中所提出[24].分数阶导数具有记忆性的特点, 能够较好地刻画历史依赖性和全局相关性, 可用来描述图像的全局变化. 基于从不同形式上的推广, 常见的分数阶导数定义有Riemann-Liouville, Grünwald-Letnikov和Caputo等[25−26], 其中Grünwald-Letnikov常应用于信号处理方面.本文采用Grünwald-Letnikov (GL), 其定义由整数阶微积分推演而来. 对于一维信号
f(x)
, 一阶导数的计算式为d1dx1f(x)=hlim1→0h[f(x)−f(x−h)](1)其中,
h
为自变量增量. 容易地, 由一阶导数推导出二阶导数式d2dx2f(x)=hlim1→0h2[f(x)−2f(x−h)+f(x−2h)](2)循环使用上述方法, 最终得出
f(x)
的
n
阶导数为dn1∑n()dxnf(x)=hlimn→0hn(−1)jjf(x−jh)(3)j=0将式(3)中导数阶次由整数
n
拓展到非整数
α的情形,
f(x)
的
α
阶GL导数定义为[xGLα1∑−xh0](x0,xDf(x)=hlim→0hα(−1)jα)(x−jh)j=0jf(4)其中,
GLxα0,xD
左上标含义为Grünwald-Letnikov,右上标含义为
α
阶导数, 而左下标
x
、
x0
分别代表上、下界. 另外,
[·]
表示取整运算.(将式(4)中的系数部分
(−1)jα)j
改写为(−1)jΓ(α+1)Γ(j+1)Γ(α−j+1)
, 其中
Γ(·)
为Gamma函数, Gam-ma函数为阶乘在非整数上的推广, 则GL定义可重新写为[x∑−xh0]GL(−1)jΓ(α+1)x,xDα0f(x)=hlim1→0hαj=0Γ(j+1)Γ(α−j+1)×f(x−jh)(5)从式中可以看出, 函数
f(x)
在
x
处的GL导数涉及从
x0
至
x
的所有函数值, 由此可认为分数阶导数是有记忆的.图像信号可看成是二维矩阵. 此处在一维信号GL定义的基础上, 计算二维图像信号的GL导数.记图像信号为
f(x)
,xf(x)=x11xx12·21.···x22....··x1N2..N..(6)x.M1x.M2··.·xMN其中
,M,
N
分别为图像行、列像素总数. 对图像信号
f(x)
计算GL导数可看成是分别沿水平方向和垂直方向进行一维信号GL导数的计算.沿水平方向计算GL导数, 对图像
f(x)
进行逐行处理. 对于第
i
行, 即
xi=(xi1,xi2,···,xiN)
, 大小为
1×N
.
xi
对应的GL导数记为
DαHxi
(下标
H代表沿水平方向), 基于式(5),
DαHxi
计算如下DαHx=(1h×x(−1)1Γ(α+1)1iαi1,hα×Γ(2)Γ(α)×xi1+hα×xi2,···,(−1)N−1Γ(α+1)hα×Γ((N−1)+1)Γ(α−(N−1)+1)×xi1+(−1)N−2Γ(α+1)hα×Γ((N−2)+1)Γ(α−(N−2)+1)×xi2+···+1hα×xiN)(7)
DαHxi
计算结果为
1×N
的向量, 从式 (7)中可以看出,
DαHxi
第1项涉及像素值
xi1
; 第2项涉及像素值
xi1,
xi2
; 依次可知, 第
N
项涉及像素值xi1,
xi2,
···
,xiN
; 表明了GL导数具有全局性的特点. 根据式(7)分别计算得到
f(x)
每一行对应的DαHxi
值,
i=1,2,···,M
, 即得到图像沿行方向的GL导数,记为
DαH
, 结果为
M×N
的矩阵.类似地, 沿垂直方向计算GL导数, 对图像f(x)
进行逐列处理, 列向量大小为
M×1
, 每列所对应的GL导数结果为
M×1
的向量.
f(x)
可看成是
N
个
M×1
的列向量, 记图像沿列方向的GL导数为
DαV
(下标
V
代表沿垂直方向), 则
DαV
结果同样为
M×N
的矩阵.分别得到图像沿水平方向和垂直方向的GL导数
DαH,
DαV
, 图像对应GL导数模定义为
12 期高敏娟等: 结合全局与局部变化的图像质量评价2665√α)2+(Dα)2DM=(DHV
DM
为
M(8)
GM
为
M√GM=(GH)2+(GV)2×N
的矩阵.(10)×N
的矩阵.1.2 利用梯度模度量图像局部变化图像梯度可用来度量图像局部的变化, 其计算方法为图像与梯度算子进行卷积运算. 常用的梯度算子有3种, 分别为Sobel算子、Prewitt算子和Scharr算子. 自然地, 采用不同的梯度算子对IQA算法的评价性能也将不同. 由文献[16, 18]的讨论可得Scharr算子能够对IQA模型产生较好的效果.由此本文梯度算子选取Scharr, 模板大小为
3×3
,式(9)给出了水平方向和垂直方向模板, 分别为3011001630−3310−10,16−3−310300(9)−10−32 GLV-SIM图像质量评价算法人在对图像的感知过程中, 不仅能够感知到图像中的语义对象等全局信息, 并且能够感知到图像中感兴趣的局部细节. 基于模拟HVS这一感知特点, 本文提出一种结合全局与局部的IQA算法GLV-SIM, 该算法利用GL导数度量图像的全局变化, 利用梯度模度量图像的局部变化.GLV-SIM算法的总体框架如图2所示. 记参考图像为
r={r(x)|x∈Ω}
, 退化图像为
d={d(x)|x∈Ω}
, Ω
表示整个图像域. 首先利用式(8)中GL导数模的定义分别计算
r
和
d
全局变化特征
DMr
,DMd
, 计算二者的相似性得到
DM
相似度谱; 利用式(10)中梯度模的定义分别计算
r
和
d
局部变化特征
GMr
,
GMd
, 计算二者的相似性得到
GM
相似度谱. 然后融合
DM
相似度谱与
GM
相似度谱得到
r
与
d
总的相似性谱. 最后对总的相似性谱作池全局变化由图像
f(x)
与式(9)中模板卷积运算分别得到水平方向和垂直方向的梯度值
GH
,
GV
. 图像对应的梯度模定义为参考图像 r度量图像参考图像分数全局阶导数模值 DMr变化计算相似性DM 相似度谱失真图像分数阶导数模值 DMd综合池化Score总的相似度谱度量图像局部变化参考图像梯度模 GMr计算相似性GM 相似度谱失真图像 d失真图像梯度模 GMd 局部变化图 2 GLV-SIM算法框架Fig. 2 The framework of GLV-SIM algorithm
2666自 动 化 学 报46 卷化处理得到图像的整体客观评分.图像
r
和
d
在
x
处GL导数模的相似性度量定义为S2DM)×DMDM(x)=r(xd(x)+C1DM2(x)+DM2(x)(11)rd+C1
SDM
反映了参考图像与退化图像在全局变化特征上的相似程度.类似地, 图像
r
和
d
在
x
处梯度模的相似性度量定义为Sx)×GMGM(x)=2GMr(d(x)+C2GM2(x)+GM2(x(12)rd)+C2
SGM
则反映了参考图像与退化图像在局部变化特征上的相似程度. 式(11)和式(12) 中
C1,
C2均为大于零的常数, 以避免分母为零和保持计算结果的稳定性.综合式(11)和式(12), 参考图像与退化图像总的相似性度量定义为S(x)=[SDM(x)]λ×[SGM(x)]1−λ(13)其中, 参数
λ
用来调节全局与局部特征的相对重要性.最后, 对
S
进行均值池化处理, 图像整体客观评分为Score=1∑TTS(x)(14)x=1式中,
T
表示图像域
Ω
中像素总数.3 数值实验3.1 测试数据库与评价指标为全面分析本文GLV-SIM算法的评价性能, 选取4大公开IQA数据库TID2013[27]、TID2008[28]、CSIQ[29]和LIVE[30]作为实验数据集. 其中, TID2013包含有3 000幅退化图像, 24种失真类型, 5种失真等级; TID2008包含有1 700幅退化图像, 17种失真类型, 每种失真类型有4个失真等级; CSIQ数据库包含有866幅退化图像, 5种失真类型,
4∼5种失真等级; 以及LIVE数据库包含有779幅退化图像, 5种失真类型,
4∼5
种失真等级. 同时, 数据库中均给出了每幅退化图像相应的主观评分. 值得注意的是, TID2013和TID2008主观评分为MOS值, 其分值越大表示图像质量越好; 而CSIQ和LIVE主观评分为DMOS (Differential meanopinion score)值, 其分值越小表示图像质量退化程度越低.客观IQA算法的性能通常以主客观评分之间的一致性来衡量. 常用的评价指标有4中: 斯皮尔曼等级相关系数(Spearman rank order correla-tion coefficient, SROCC)和肯德尔等级相关系数(Kendall rank order correlation coefficient,KROCC) 评价主客观评分之间的单调性, 其值越接近于1则相关性越好; 皮尔逊线性相关系数(Pearson linear correlation coefficient, PLCC) 和均方根误差(Root mean square error, RMSE) 评价算法预测准确性, 由于主客观评分取值范围不同(如TID2013中主观评分范围为[0, 9], 而SSIM客观评分范围为[0, 1]), 计算时需要先进行回归分析, 建立主客观评分之间的非线性映射. 这里采用式(15)中的Logistic回归函数, 其中,
{βi|i=1,2,···,5}为回归模型参数. PLCC值越接近于1, 表示算法精度越高. 而[RMSE值越小, 则算法预测准确性越好.QP=β1]12−11+exp(β+β2(Q−β3))4Q+β5(15)3.2 参数设置GLV-SIM算法在计算参考图像与退化图像全局与局部特征相似性度量时, 分别引入了可调参数C1,
C2
. 通常, 设置方法为取
C1=(K1×L)2,
C2=(K2×L)2
, 其中K
1,
K
2
为很小的常数(对于8-bit灰度图像
L=255
). 另外, GLV-SIM算法中分数阶次
α
以及体现全局与局部的相对重要程度的
γ
,也均为需设置的参数.选取TID2008数据库中前8幅参考图像及对应的544幅退化图像作为测试子集, 在该子集上取不同参数进行数值实验, 通过最高的SROCC值确定算法最佳参数值. 采用控制变量法, 先令
α=0.5
,γ=0.5
, 在二维网格
(K1,K2)=(0.05k1,0.05k2)
上进行搜索,
k1=1,2,···,10
;
k2=1,2,···,10
, 实验得到
K1=0.2
,
K2=0.1
为最佳值. 其次,以
K1
,K2
最佳值与
γ=0.5
, 对不同
α
取值进行实验,
α
最佳值取0.6. 最后以
K1
,
K2
和
α
最佳值, 确定
γ
最优值,结果取
γ=0.7.3.3 GLV-SIM度量能力分析选取TID2008数据库中参考图像I21, 及相应的退化图像I21-1-2、I21-3-2、I21-8-2、I21-11-2和I21-12-2, 各退化图像对应的退化类型分别为加性高斯噪声、空间位置相关噪声、高斯模糊、JPG2K压缩和JPG传输错误. 如图3所示, 图3(a)为参考图像, 图3(b)~(f)为退化图像, 图中右下角分别显示矩形区域局部放大图, 该区域包含有边界、纹理及平滑的部分(如屋顶边界、云朵纹理及天空平滑
12 期高敏娟等: 结合全局与局部变化的图像质量评价2667(a) I21(b) I21-1-2(c) I21-3-2 (d) I21-8-2(e) I21-11-2(f) I21-12-2图 3 参考图像(a)及其不同类型退化图像(b)~(f) (右下角为矩形区域局部放大图)Fig. 3 Reference image (a) and different types of distorted images (b)~(f) (The lower right corner is a enlarged view ofthe rectangular region) 表 1 图3(b)~(f)主观评分和不同算法客观评分Table 1 Subjective scores and objective scores ofdifferent algorithms for Fig. 3(b)~(f)评价方法MOSPSNRVSNRIFCSSIMMS-SSIMIW-SSIMGSIMFSIMGLV-SIM图3(b)5.000030.530429.73014.73890.92500.96060.96840.99580.98310.9959图3(c)3.838730.578421.14803.43510.84610.91590.90750.98880.94620.9845图3(d)4.187526.130320.53424.93190.94590.97380.96450.99530.95380.9927图3(e)4.766727.480830.70722.99560.94750.97270.97040.99660.96990.9957图3(f)6.290327.349820.268111.37460.95680.98210.96610.99790.97070.9961 表 2 针对表1评分排名Table 2 The rank of scores on Table 1评价方法MOSPSNRVSNRIFCSSIMMS-SSIMIW-SSIMGSIMFSIMGLV-SIM图3(b)2223442312图3(c)5134554555图3(d)4542325444图3(e)3315231233图3(f)1451113121部分). 从图中可以看出, 5幅退化图像分别具有不同视觉感知质量, 其对应的主观评分MOS值如表1中所示. 分值越大代表图像质量越好, 则视觉质量由好到差依次为图3(f), 3(b), 3(e), 3(d), 3(c).表1同时列出了GLV-SIM及几种不同IQA算法对图3(b)~(f)的客观评分, 评分排名如表2所示. 结果表明, 本文GLV-SIM算法可获得与主观评价相一致的评价结果, 算法FSIM、GSIM同样考虑了利用梯度度量图像局部变化, 但排名结果与主观MOS不完全一致, 这也体现了本文综合考虑图像全局与局部变化的有效性.考查图像全局变化特征对图像质量评价的有效性. 图4展示了与图3相对应矩形区域的
DM
图,由图中可以看出, 图4(a)
DM
图能够很好地呈现参考图像的变化特征.图4(b)~(f)与图4 (a)相比, 明显图4(f)具有与图4(a)更相似的
DM
图, 与其他相比, 图4(f)视觉质量最好; 图4(b)与图4(e)相比, 图4(b)虽存在噪声但在边界处保留有更好的细节, 整体上图4(b)好于图4(e); 而图4(d)在边界处出现模糊, 影响视觉效果; 图4(c)则与图4(a)相似程度最低, 图4(c)视觉质量最差. 由分析可看出,描述图像全局变化特征的
DM
图能够获得与主观评价较好的一致性, 与人类视觉感知相符.3.4 整体评价性能的比较在4个数据库上测试GLV-SIM的整体评价性
2668自 动 化 学 报46 卷能, 参与对比的算法有传统方法PSNR、VSNR[31]、IFC[32], 经典算法SSIM及其改进算法MS-SSIM、IW-SSIM, 以及梯度相似性GSIM和特征相似性FSIM算法. 实验中对比算法采用作者公布的代码和文献中报道的最优参数. 实验环境为DELL opti-plex7040, Intel Core i7-6700, ******* GHz, 8GB RAM, 实验平台为MATLAB R2016b. 表3和表4列出了9种算法在4个数据库上SROCC、KROCC、(a) I21(b) I21-1-2(c) I21-3-2 (d) I21-8-2(e) I21-11-2(f) I21-12-2图 4 针对图3中各矩形区域对应的
DM
图Fig. 4 The corresponding
DM
map for each rectangular region in Fig.3表 3 不同IQA算法在TID2013和TID2008数据库的实验结果比较Table 3 Comparison the performance results of different IQA algorithms on TID2013 and TID2008 databases数据库性能指标SROCCKROCCTID 2013PLCCRMSESROCCTID 2008KROCCPLCCRMSEPSNR0.63960.46980.70170.88320.55310.40270.57341.0994VSNR0.68120.50840.74020.83920.70460.53400.68200.9815IFC0.53890.39390.55381.03220.56750.42360.73400.9113SSIM0.74170.55880.78950.76080.77490.57680.77320.8511MS-SSIM0.78590.60470.83290.68610.85420.65680.84510.7173IW-SSIM0.77790.59770.83190.68800.85590.66360.85790.6895GSIM0.79460.62550.84640.66030.85040.65960.84220.7235FSIM0.80150.62890.85890.63490.88050.69460.87380.6525GLV-SIM0.80680.63810.85800.63680.88140.69560.86480.6739 表 4 不同IQA算法在CSIQ和LIVE数据库的实验结果比较Table 4 Comparison the performance results of different IQA algorithms on CSIQ and LIVE databases数据库性能指标SROCCKROCCCSIQPLCCRMSESROCCLIVEKROCCPLCCRMSEPSNR0.80580.60840.80000.15750.87560.68650.872313.359VSNR0.81060.62470.80020.15750.92740.76160.923110.505IFC0.76710.58970.83840.14310.92590.75790.926810.264SSIM0.87560.69070.86130.13340.94790.79630.94498.9445MS-SSIM0.91330.73930.89910.11490.95130.80450.94898.6188IW-SSIM0.92130.75290.91440.10630.95670.81750.95228.3473GSIM0.91080.73740.89640.11640.95610.81500.95128.4327FSIM0.92420.75670.91200.10070.96340.83370.95977.6780GLV-SIM0.92640.76050.90820.10990.95210.81790.93688.0864
12 期高敏娟等: 结合全局与局部变化的图像质量评价2669表 5 不同IQA算法在TID2008数据库单一失真评价性能(SROCC)比较Table 5 Comparison SROCC for individual distortion of different IQA algorithms on TID2008 database数据库失真类型AWNANMCSCNMNHFNIMNQNGBTID 2008DENJPEGJP2KJGTEJ2TENEPNBLOCKMSCTCPSNR0.90730.89940.91750.85200.92730.87250.87020.87040.94220.87230.81310.75250.83120.58120.61940.69660.5867VSNR0.77280.77930.76650.72950.88110.64700.82710.93300.92860.91740.95150.80560.79090.57160.19260.37150.4239IFC0.58060.54600.59580.67320.73180.53450.58570.85590.79730.81800.94370.79090.73010.84180.67700.42500.2713SSIM0.81070.80290.81440.77950.87290.67320.85310.95440.95300.92520.96250.86780.85770.71070.84620.72310.5246MS-SSIM0.80940.80640.81950.81560.86850.68680.85370.96070.95710.93480.97360.87360.85220.73360.76170.73740.6398IW-SSIM0.78690.79200.77140.80870.86620.64650.81770.96360.94730.91840.97380.85880.82030.77240.76230.70670.6301GSIM0.85730.80950.89020.74030.89320.77210.87500.95850.97230.93910.97550.88320.89250.73720.88650.71740.6736FSIM0.85660.85270.84830.80210.90930.74520.85640.94720.96030.92790.97730.87080.85440.74910.84920.66980.6481GLV-SIM0.91250.89790.91670.80870.91750.78640.88650.95870.96660.95340.97510.87930.90210.72710.89600.69940.6689PLCC和RMSE的结果. 从表中可看出, GLV-SIM整体评价效果较好.在TID2013、TID2008和CSIQ数据库上, GLV-SIM与FSIM评价性能相当, 好于基于梯度的GSIM算法, 且优于传统算法和基于SSIM的算法. 在LIVE数据库上, FSIM取得了最好的评价效果, GLV-SIM与GSIM相当. 该实验结果表明, 图像变化特征能够更好地描述图像结构信息, 本文GLV-SIM算法中全局与局部结合的方法与单一度量局部变化相比, 能提高对图像对比变化的刻画能力.3.5 单一失真评价性能的比较在TID2008数据库上测试GLV-SIM对单一失真类型的评价性能. 表5中列出了不同算法的SROCC值, 值越大表明评价效果越好, 图中每种失真类型排名首位的结果已加粗显示. 从表中可看出,GLV-SIM和PSNR均出现5次, GSIM出现3次,FSIM出现1次. PSNR对噪声类型的失真评价较好, GLV-SIM在AWN、QN上效果明显, 并能在AWNC、SCN和HFN上取得与PSNR相当的效果. 其次, GLV-SIM还可在JPEG、J2TE、BLOCK失真类型上取得较好的评价效果, 并在JP2K能与FSIM效果相当.一种结合全局与局部变化的GLV-SIM算法. 该算法利用了分数阶导数具有全局性的特点来度量图像全局变化, 同时利用梯度来度量图像局部变化, 结合二者来预测图像质量评分. 在公开数据库上的实验结果表明, 本文算法能够取得与主观评分较好的一致性. 结合全局与局部的方法与单一考虑局部的方法相比能够更好地模拟HVS的主观评价过程.在今后的研究中, 我们将进一步尝试将该方法应用于部分参考和无参考图像质量评价问题中.References1 Mohammadi P, Ebrahimi-Moghadam A, Shirani S. Subjectiveand objective quality assessment of image: a survey. MajlesiJournal of Electrical Engineering, 2015, 9(1): 419−423provement via local gray-scale fluctuation measurement. Multi-2 Yang X C, Sun Q S, Wang T S. Image quality assessment im-media Tools and Applications, 2018, 77(18): 24185−242023 Gao Min-Juan, Dang Hong-She, Wei Li-Li, Zhang Xuan-De. Im-age quality assessment algorithm based on non-local l of Electronics and Information Technology, 2019, 41(5):1122−1129(高敏娟, 党宏社, 魏立力, 张选德. 基于非局部梯度的图像质量评价算法. 电子与信息学报, 2019, 41(5): 1122−1129)4 Xu Li-Na, Xiao Qi, He Lu-Xiao. Fused image quality asssess-ment based on human visual characterisyics. Geomatics and In-4 总结与展望本文的贡献在于针对现有IQA算法仅考虑图像局部变化所存在的不足, 以模拟HVS既能感知到图像局部信息也能感知到全局信息的特点, 提出formation Science of Wuhan University, 2019, 44(4): 546−554(许丽娜, 肖奇, 何鲁晓. 考虑人类视觉特征的融合图像评价方法.武汉大学学报(信息科学版), 2019, 44(4): 546−554)5 Cao Qing-Jie, Shi Zai-Feng, Zhang Jia-Ping, Li Hang-Yuan,
2670自 动 化 学 报46 卷Gao Jing, Yao Su-Ying. Sub-regional and multiple criteria full-reference image quality assessment. Journal of Tianjin Uni-versity (Science and Technology), 2019, 52(6): 625−630(曹清洁, 史再峰, 张嘉平, 李杭原, 高静, 姚素英. 分区域多标准的全参考图像质量评价算法. 天津大学学报(自然科学与工程技术版), 2019, 52(6): 625−630)6 Wang Z, Bovik A C. Mean squared error: love it or leave it? Anew look at signal fidelity measures. IEEE Signal ProcessingMagazine, 2009, 26(1): 98−1177 Huynh-Thu Q, Ghanbari M. Scope of validity of PSNR in im-age/video quality assessment. Electronics Letters, 2008, 44(13):800−8018 Wang Z, Bovik A C, Sheikh H R, Simoncelli E P. Image qual-ity assessment: from error visibility to structural Transactions on image processing, 2004, 13(4): 600−6129 Wang Z, Simoncelli E P, Bovik A C. Multiscale structural simil-arity for image quality assessment. In: Proceedings of the 37thIEEE Asilomar Conference on Signals, Systems, and Computers,Pacific Grove, USA, 2003. 1398−140210 Wang Z, Li Q. Information content weighting for perceptual im-age quality assessment. IEEE Transactions on Image Processing,2011, 20(5): 1185−119811 Li C F, Bovik A C. Three-component weighted structural simil-arity index. In: Proceedings of the 2009 SPIE Conference on Im-age Quality and System Performance, San Jose, California,USA, 2009. 7242: 72420Q−72420Q-912 Liu Da-Jin, Ye Jian-Bing, Liu Jia-Jun. SVD-based gray-scaleimage quality assessmentalgorithms in the SSIM l of Nanjing Normal University (Natural Science Edition),2017, 40(1): 73−78(刘大瑾, 叶建兵, 刘家骏. SSIM框架下基于SVD的灰度图像质量评价算法研究. 南京师大学报(自然科学版), 2017, 40(1): 73−78)13 Yan Le-Le, Li Hui, Qiu Ju-Neng, Liang Ping. Image qualty as-sessment method based on regional contrast and structural sim-ilarity. Journal of Applied Optics, 2015, 36(1): 58−63(闫乐乐, 李辉, 邱聚能, 梁平. 基于区域对比度和SSIM的图像质量评价方法. 应用光学, 2015, 36(1): 58−63)14 Jin X, Jiang G Y, Chen F, Yu M, Shao F, Peng Z J, et al. Ad-aptive image quality assessment method based on structuralsimilarity. Journal of Optoelectronics. Laser, 2014, 25(2):378−38515 Tian Hao-Nan, Li Su-Mei. Objective evaluation method for im-age quality based on edge structural similarity. Acta PhotonicaSinca, 2013, 42(1): 110−114(田浩南, 李素梅. 基于边缘的SSIM图像质量客观评价方法. 光子学报, 2013, 42(1): 110−114)16 Zhang L, Zhang L, Mou X Q, Zhang D. FSIM: a feature similar-ity index for image quality assessment. IEEE Transactions onImage Processing, 2011, 20(8): 2378−238617 Liu A M, Lin W S, Narwaria M. Image quality assessment basedon gradient similarity. IEEE Transactions on Image Processing,2012, 21(4): 1500−151218 Zhang X D, Feng X C, Wang W W, Xue W F. Edge strengthsimilarity for image quality assessment. IEEE Signal ProcessingLetters, 2013, 20(4): 319−32219 Sun W, Liao Q M, Xue J H, Zhou F. SPSIM: a superpixel-basedsimilarity index for full-reference image quality Transactions on Image Processing, 2018, 27(9): 4232−424420 Ding L, Huang H, Zang Y. Image quality assessment using dir-ectional anisotropy structure measurement. IEEE Transactionson Image Processing, 2017, 26(4): 1799−180921 Xue W F, Zhang L, Mou X Q, Bovik A C. Gradient magnitudesimilarity deviation: a highly efficient perceptual image qualityindex. IEEE Transactions on Image Processing, 2014, 23(2):684−69522 Pei S C, Chen L H. Image quality assessment using human visu-al DOG model fused with random forest. IEEE Transactions onImage Processing, 2015, 24(11): 3282−329223 Reisenhofer R, Bosse S, Kutyniok G, Wiegand T. A haar wave-let-based perceptual similarity index for image quality assess-ment. Signal Processing: Image Communication, 2018, 61: 33−4324 Xue Ding-Yu. Fractional Calculus and Fractional-order g: Publishing House of Science, 2018. 31−72(薛定宇. 分数阶微积分学与分数阶控制. 北京: 科学出版社, 2018.31−72)25 Zhang Gui-Mei, Sun Xiao-Xu, Liu Jian-Xin, Chun Jun. Re-search on TV-L1 optical flow model for image registration basedon fractional-order differentiation. Acta Automatica Sinica,2017, 43(12): 2213−2224(张桂梅, 孙晓旭, 刘建新, 储珺. 基于分数阶微分的TV-L1光流模型的图像配准方法研究. 自动化学报, 2017, 43(12): 2213−2224)26 Chen Yun, Guo Bao-Yu, Ma Xiang-Yuan. Image processingbased on regularization with fractional clculus. Mathematica Nu-merica Sinica, 2017, (39): 393−406(陈云, 郭宝裕, 马祥园. 基于分数阶微积分正则化的图像处理. 计算数学, 2017, (39): 393−406)27 Ponomarenko N, Jin L, Ieremeiev O, Lukin V, Egiazarian K,Astola J, et al. Image database TID2013: peculiarities, resultsand perspectives. Image Communication, 2015, 30(C): 57−7728 Ponomarenko N, Lukin V, Zelensky A, Egiazarian K, Astola J,Carli M, et al. TID2008: a database for evaluation of full-refer-ence visual quality assessment metrics [Online], available:/papers/mre, November 1, 201629 Larson E C, Chandler D. Categorical subjective image quality(CSIQ) database [Online], available: /csiq, November 1, 201630 Sheikh H R, Wang Z, Bovik A C. Image and video quality as-sessment research at LIVE. [Online], available: /rese-arch/quality/, November 1, 201631 Chandler D M, Hemami S S. VSNR: a wavelet-based visual sig-nal-to-noise ratio for natural images. IEEE Transactions on Im-age Processing, 2007, 16(9): 2284−229832 Sheikh H R, Bovik A C, Veciana G D. An information fidelitycriterion for image quality assessment using natural scene stat-istics. IEEE Transactions on Image Processing, 2005, 14(12):2117−2128
12 期高敏娟等: 结合全局与局部变化的图像质量评价2671高敏娟 陕西科技大学电气与控制工程学院博士研究生. 2010年获得山西大学工学硕士学位. 主要研究方向为图像处理, 图像质量评价.E-mail: **********************(GAO Min-Juan Ph.D. candidateat the School of Electrical and Con-trol Engineering, Shaanxi University of Science andTechnology. She received her master degree in engin-eering from Shanxi University in 2010. Her research in-terest covers image processing and image quality as-sessment.)党宏社 陕西科技大学电气与控制工程学院教授. 主要研究方向为工业过程与优化, 计算机控制, 图像处理.E-mail: ***************.cn(DANG Hong-She Professor at theSchool of Electrical and Control En-gineering, Shaanxi University of Sci-ence and Technology. His research interest covers in-dustrial process and optimization, computer control,and image processing.)魏立力 宁夏大学数学统计学院教授. 主要研究方向为应用统计与数据分析. E-mail: ***************.cn(WEI Li-Li Professor at the Schoolof Mathematics and Statistics,Ningxia University. His research in-terest covers apply statistics anddata analysis.)王海龙 宁夏师范学院数学与计算机科学学院讲师. 2011年获得香港公开大学教育硕士学位. 主要研究方向为代数.E-mail: ***********************(WANG Hai-Long Lecturer at theSchool of Mathematics and Com-puter Science, Ningxia Normal University. He receivedhis Master of education degree from the Open Uni-versity of Hong Kong, China in 2011. His main re-search interest is algebra.)张选德 陕西科技大学电子信息与人工智能学院教授. 2013年获得西安电子科技大学理学博士学位. 主要研究方向为图像恢复, 图像质量评价, 稀疏表示和低秩逼近理论. 本文通信作者.E-mail: ********************.cn(ZHANG Xuan-De Professor at the School of Elec-tronic Information and Artificial Intelligence, ShaanxiUniversity of Science and Technology. He received hisPh.D. degree in applied mathematics from Xidian Uni-versity in 2013. His research interest covers image res-toration, image quality evaluation, sparse representa-tion, and low rank approximation theory. Correspond-ing author of this paper.)
更多推荐
图像,变化,评价
发布评论