en
×

分享给微信好友或者朋友圈

使用微信“扫一扫”功能。
参考文献 1
LedigC, TheisL, HuszarF, et al. Photo-realistic single image super-resolution using a generative adversarial network[J]. Computer Vision And Pattern Recognition, 2017: 105-114.
参考文献 2
WangZ,BovikA C,SheikhH R,et al.Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13 (4):600-612.
参考文献 3
ZhangL, ZhangL, MouX, et al. FSIM: A feature similarity index for image quality assessment[J]. IEEE Transactions on Image Processing, 2011, 20(8): 2378-2386.
参考文献 4
https://newonlinecourses.science.psu.edu/stat509/node/155/
参考文献 5
MorroneM C, OwensR A. Feature detection from local energy[J]. Pattern Recognition Letters, 1987, 6(5): 303-313.
参考文献 6
KovesiP. Phase congruency: A low-level image invariant[J]. Psychological Research, 2000, 64(2):136-148.
参考文献 7
ShiW, CaballeroJ, HuszarF, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[J]. Computer Vision and Pattern Recognition, 2016: 1874-1883.
参考文献 8
DongC, LoyC C, TangX, et al. Accelerating the super-resolution convolutional neural network[J]. European Conference on Computer Vision, 2016: 391-407.
参考文献 9
HeK, ZhangX, RenS, et al. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification[C]. Proceedings of the IEEE International Conference on Computer Vision. 2015: 1026-1034.
参考文献 10
HeK, ZhangX, RenS, et al. Deep residual learning for image recognition[J]. Computer Vision and Pattern Recognition, 2016: 770-778.
参考文献 11
https://www.flir.com/oem/adas/adas-dataset-form/
参考文献 12
GonzálezA, FangZ J, SocarrasY, et al. Pedestrian detection at day/night time with visible and fir cameras: a comparison[J]. Sensors, 2016, 16(6):820.
参考文献 13
KingmaD P, BaJ. Adam: A method for stochastic optimization[J]. Computer Science, 2014.
参考文献 14
DongC, LoyC C, HeK, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2): 295-307.
目录 contents

    摘要

    在红外超分辨率成像应用中,提高主观视觉效果有着很现实的需求.当前基于深度学习的图像超分辨率重建方法大多以客观评价指标为损失函数进行训练和优化,主观评价方法因量化困难而难以应用,为此本文着重研究了主观评价和各种可量化的客观评价指标的相关性,发现相位一致性特征与主观评价结果关联度高.据此设计了基于主客观联合评价的损失函数,应用于红外图像超分辨率重建算法,实验表明,在保持客观质量评价的同时,更好地提高了图像的主观视觉效果.

    Abstract

    In the application of infrared super-resolution imaging, it is actually necessary to improve the subjective visual effects of images. At present, most image super-resolution reconstruction methods based on deep learning are trained and optimized with objective evaluation index as loss function. The subjective evaluation methods are difficult to apply due to the difficulty of quantification. Therefore, this paper focuses on the correlation between subjective evaluation and quantifiable objective evaluation indexes, and finds that the characteristics of phase consistency are highly correlated with subjective evaluation results. Based on this, a loss function based on subjective and objective joint evaluation is designed and applied to the super-resolution reconstruction algorithm of infrared image. Experiments show that this method can improve the subjective visual effect of image while maintaining the objective evaluation score.

  • 引言

    图像超分辨率(image super-resolution restoration, SR)重建是指利用一幅或多幅低分辨率(low-resolution,LR)图像恢复成高分辨率 (high-resolution,HR)图像.随着深度神经网络在计算机视觉上的广泛应用,基于深度神经网络的超分辨率重建方法成为了当前研究热点.

    超分辨率图像的评价对于重建算法的评估具有重要意义,目前使用的评价方法有主观评价方法和客观评价方[1].当前基于深度学习的图像超分辨率重建方法大多以客观评价指标为损失函数进行训练和优化,主观评价方法因量化困难而难以应用,但在很多应用中提高主观视觉效果有重要意义.为此本文对客观评价算法与主观评价方法的相关性进行了研究,提出了基于主客观联合评价的损失函数,并应用于红外超分辨率重建算法中,取得了良好效果.

  • 1 超分辨率重建图像质量主观、客观评价指标及相关性研究

  • 1.1 图像质量主观、客观评价方法

    客观评价方法通过对图像进行统计分析或特征计算以定量化表示图像质量,常用的客观评价方法有峰值信噪比、结构相似性指数和特征相似性指数等.

    (a)峰值信噪比(peak signal to noise ratio, PSNR)通过计算待评价图像和参考图像的均方误差来定义,其定义表达式为:

    PSNR=20log102l-1MSE
    (1)
    MSE=1hwx=1hy=1wÎx,y-Ix,y2
    (2)

    其中式(1)中l表示图像像素亮度值的比特数,通常为8,此时图像像素亮度的阶数为256.

    (b)结构相似性指数(structure similarity image measure, SSIM [2]从亮度、对比度、结构三个方面计算图像的相似性,是待评价图像和参考图像之间相关相似性的综合表示,其定义式为:

    SSIM=2μIμÎ+C12σI,Î+C2μI2+μÎ2+C1σI2+σÎ2+C2
    (3)

    其中μI表示参考图像的亮度平均值,μÎ表示待评价图像的亮度平均值,σI, σÎ分别是是参考图像和待评价图像的方差,σI,Π表示两幅图像之间的协方差,C1, C2是两个常数,防止分母为零.

    (c) 特征相似性指数(Feature Similarity Index, FSIM[3]是一种结合图像频率域特征和空间域梯度特征的图像评价方法.其计算方式为:

    FSIM=x,yΩSLx,y  PCmx,yx,yΩPCmx,y
    (4)

    式中Ω表示整幅图像, PCmx,y=maxPCIx,y,PCÎx,y用来衡量单个像素的相似性在整体图像相似性中的权重.SLx,y表示综合相似性,通过计算相位一致性特征和梯度特征获得.

    主观评价方法是指以评价者对图像的主观视觉感受为标准,评价图像质量的优劣.根据重建算法的需要,本文采用以原始高分辨率图像作为参考,对重建图像质量进行主观评分的方法,邀请了15位专业人士对每张图像进行打分,以红外图像的视觉效果质量和真实度为打分标准,统计每张红外图像所有观察人员的分数,求取平均值并线性映射到[0,5]范围内作为图像的主观评分结果.

  • 1.2 主客观评价相关性实验

    本文自建了红外图像数据库,采用中波红外相机(视场角11°×8.8°,图像尺寸640×512)采集上海市街景图像,共1 000余幅,图像内容包含行人、车辆、交通标识、绿植和建筑等.从中选取了50张内容差异较大、信息丰富的清晰红外图像作为参考图像,对其进行下采样后(下采样因子为2和4),使用双立方插值、SRCNN和SRResnet等方法提高分辨率,作为待评价图像.

    待评价图像与参考图像具有相同的分辨率,使用主、客观评价方法对其进行打分,获得待评价图像的主观评分结果、峰值信噪比、结构相似性指数和结构相似性指数.图1展示了部分图像示例,其对应得分如表1所示.

    图1
                            红外图像示例

    图1 红外图像示例

    Fig.1 Examples of infrared images

    表1 红外图像质量评价分数

    Table 1 Quality evaluation score of infrared image

    下采样因子超分辨率方法主观分数PSNRSSIMFSIM
    14Bicubic1.2623.290.624 10.546 1
    24SRCNN1.6325.890.686 60.626 8
    34SRResnet2.1925.720.728 60.700 8
    42Bicubic2.5729.240.848 40.752 6
    52SRCNN3.9830.980.909 20.887 0
    62SRResnet4.5030.220.926 10.921 8

    为了对比三种客观评价指标与图像主观评分结果的相关性,本文使用了斯皮尔曼秩相关系数,肯德尔秩相关系数和皮尔森线性相关系[4].三种系数的取值范围为[-1,1],系数为正值时表示正相关,系数为负值时表示负相关,系数绝对值越大表示相关性越强,系数为0时表示两个变量不相关.

    (a) 斯皮尔曼秩相关系数 (spearman rank order correlation coefficient, SROCC)根据数据的排序位置计算相关性,计算之前先对原始数据X, Y排序,获得原始数据的位置X', Y',称为“等级”或“秩”,然后依据对应数据的等级差计算相关性.

    SROCC=1-6d2nn2-1,
    (5)

    其中,d=X'- Y'表示对应数据的等级差,n表示数据对的数量.

    (b) 肯德尔等级相关系数 (Kendall rank order correlation coefficient, KROCC)也是根据数据的等级来计算.假设有n个统计对象,每个对象均有两个属性,首先将所有对象按其中一个属性的取值排列,那么另一个属性取值的排列可能是乱序的.假设所有统计对象中两个属性值排列关系一致的有P对,则有

    KROCC=P-nn-12-P/nn-12=4Pnn-1-1,
    (6)

    式中n个统计对象中每两个作为一对进行比较,共有nn-12对.

    (c) 皮尔森线性相关系数(Pearson linear correlation coefficient,PLCC) 是一种度量两个变量线性相关程度的统计量,定义为两个变量的协方差和各变量标准差乘积的商:

    PLCC=covX,YσXσY=EX-μXY-μYσXσY,
    (7)

    其中covX, Y表示两个变量X, Y的协方差,σX, σY分别表示两个变量X, Y的标准差.

    红外图像主、客观评价相关性实验结果如表2所示,从中看出三种客观评价算法与主观评分结果均为正相关,其中PSNR值与主观评价结果线形相关性最低,FSIM算法得到的结果与主观评价结果线形相关性最高.图2更直观的表现了客观评价算法与主观评价结果的关系,从散点图中可以看到FSIM与主观评分结果相关性最高, PSNR值的相关性最低.本文实验结果与文献[3]中可见光实验结果基本一致,表明在红外图像领域,特征相似性指数更接近于人类主观视觉感受.

    表2 主客观评价相关性结果

    Table 2 Results of the correlation between subjective and objective evaluation

    PSNRSSIMFSIM
    SROCC0.90720.94090.9726
    KROCC0.82820.86040.9004
    PLCC0.89200.93270.9576
    图2
                            主客观评价分数散点图

    图2 主客观评价分数散点图

    Fig.2 Scatter plots of the subjective and objective evaluation scores

  • 2 主客观联合评价损失函数设计

    根据上节研究结果,本文提出了基于主客观联合评价的损失函数,结合图像的相位一致性(phase consistency, PC[5]特征和梯度特征来拟合主观评价结果,损失函数如式(8)所示:

    L=Ωα1lMSE+α2lPC+α3lG×PCIHRΩPCIHR,
    (8)

    其中Ω表示整幅图像,lMSE,lPC,lG表示3个不同的损失函数分量,计算方式如下:

    lMSE=ISR-IHR2,
    (9)
    lPC=PCISR-PCIHR2,
    (10)
    lG=GISR-GIHR2,
    (11)

    PC·表示图像的相位一致性特征,G·表示图像的梯度特征,本文使用了Sobel算子.α1,α2,α3表示三种损失分量的比例,本文中α1=α2=α3=1.

    本文采用Log-Gabor小波变换来计算相位一致[6].首先使用二维Log-Gabor滤波器对红外图像在方向θj和尺度n下滤波,得到在点x处滤波响应向量en, θjx, on,  θjx.然后计算响应向量的幅值和局部能量函数:

    An,θjx=en,θjx2+on,θjx2,
    (12)
    In,θjx=nen,θjx,Hn,θj=non,θjx,
    (13)
    En,θjx=In,θj2x+Hn,θj2x,
    (14)

    则红外图像的相位一致性为:

    PCx=jEn,θjxjnAn,θjx+ε.
    (15)
  • 3 红外超分辨率重建网络结构

    红外图像超分辨率重建网络(IRSR)结构如图3所示,超分辨率网络模型输入的是低分辨率红外图像,输出放大4倍之后的超分辨率红外图像.IRSR可以分为三个部分:红外图像特征提取、特征上采样和红外图像重建.其中图像特征提取结构使用了多尺度稠密残差块;特征上采样结构使用两个像素重组结构将图像特征放大了4[7];最后选用了反卷积层来完成超分辨率红外图像的重建任[8].

    图3
                            单帧红外图像超分辨率重建网络结构示意图

    图3 单帧红外图像超分辨率重建网络结构示意图

    Fig.3 Architecture of IRSR

    为了检测不同尺度的红外图像特征,本文设计了多尺度的稠密残差块,分别使用了3 × 3和 5 × 5两种卷积核的稠密块,如图4所示.每一个稠密块由4个卷积层和3个激活层构成,这些卷积层具有相同数量的卷积核.令fnn = 1, 2, 3)和fn-1n = 1, 2, 3)表示稠密块第n个卷积层的输出和输入,那么第n个卷积层的输出为:

    fn=ϕ(Wn[f0,f1,fn-1]+bn)
    (16)

    其中Wn,bn分别表示第n个卷积层的卷积核和偏置项; ϕ表示激活函数,本文中使用了PReLU函[9].

    图4
                            多尺度稠密残差块结构

    图4 多尺度稠密残差块结构

    Fig.4 Architecture of multi-scale dense residual block

    本文使用了1×1的卷积层联合了两种尺度的稠密块,同时使用了局部残差学[10],假设f3×3f5×5表示两个稠密块的输出结果,该操作可以表示为:

    f1×1=W1×1[f3×3,f5×5]+b1×1,
    (17)
    f=γ×f1×1+f0,
    (18)

    其中f0表示的是稠密块第一个卷积层的输入,也就是残差块的输入,f表示多尺度稠密残差块的最终输出结果,γ0<γ<1控制残差块的输入与学习到的映射关系的比例,本文γ=0.2.本文网络共使用了9个多尺度稠密残差块,残差块中所有卷积层均使用了64个卷积核,每层输出的特征图通道数均为64.

  • 4 实验结果分析

    红外超分辨率重建网络的训练和测试数据集包括了开放数据集和自建数据库,公开数据集为:FLIR数据集(FREE FLIR Thermal Dataset for Algorithm Training[11]和CVC数据集(FIR Sequence Pedestrian Dataset[12],共14 623张红外图像.在超分辨率重建网络训练过程中,随机选取16 幅96×96 的高清子图像作为小批次进行训练.优化过程选取了β1=0.9的Adam[13]算法,首先使用基于均方误差的损失函[14]对网络进行训练,学习速率为10-4,迭代次数为1 000 000;然后使用本文损失函数对网络进行精调,学习速率为10-5,迭代次数为500 000.

    实验对比了本文方法和双立方插值、SRCNN[14]、SRResnet[1]和SRGAN[1]等方法的重建结果(图5),图像质量评价如表3所示.使用本文超分辨率算法重建出的红外图像质量更接近于原图,物体轮廓更加清晰,纹理细节最为清楚.

    图5
                            红外超分辨率图像(1)

    图5 红外超分辨率图像(1)

    Fig.5 Infrared super-resolution images (1)

    表3 红外超分辨率图像客观评价得分

    Table 3 Objective evaluation score of infrared super-resolution images

    数据集评价标准BicubicSRCNN[14]SRResnet[1]SRGAN[1]Proposed
    自建PSNR26.1527.3928.9727.8929.48
    SSIM0.65490.70450.75810.78490.8009
    FSIM0.54370.59110.62970.68440.7516
    FLIRPSNR28.1029.6631.2931.0532.10
    SSIM0.68590.74570.78950.82050.8543
    FSIM0.55530.62650.77800.78340.8425
    CVC-14PSNR21.8022.8224.2823.8425.21
    SSIM0.85430.88520.93150.91960.9407
    FSIM0.64610.70550.75860.78090.8532

    本文进一步实验对比了基于3种不同的损失函数的超分辨率重建效果,损失函数分别为:均方误差损失函数,基于判别网络的损失函[1]和本文损失函数.

    表4展示了三种方法重建红外超分辨率图像的客观评价分数,IRSR-MSE表示网络训练精调阶段使用的是基于均方误差的损失函数,该方法获得了最好的PSNR值,但图像边缘较为模糊,纹理细节不清,如图6所示.IRSR方法使用了本文的损失函数,重建图像更加清晰.同时本文邀请了10位专业人士参考高分辨率图像,对重建图像的视觉效果进行排序.在31幅测试红外图像中,使用主客观联合评价损失函数的超分辨率图像获得的第一最多,可以认为使用本文方法重建的图像主观视觉效果更好.

    表4 红外超分辨率图像评价结果

    Table 4 Evaluation results of infrared super-resolution images

    数据集评价标准IRSR-MSEIRSR-advIRSR(ours)
    自建PSNR30.1929.9729.48
    SSIM0.76160.79900.8009
    FSIM0.7225072020.7516
    FLIRPSNR32.9232.7832.10
    SSIM0.80270.82270.8543
    FSIM0.79060.81160.8425
    CVC-14PSNR26.9025.7225.21
    SSIM0.94610.95070.9407
    FSIM0.80770.83910.8532
    主观评价(排名第一数量)097213
    图6
                            红外超分辨率图像(2)

    图6 红外超分辨率图像(2)

    Fig.6 Infrared super-resolution images (2)

  • 5 结论

    为了提高超分辨率图像的主观视觉效果,本文研究了图像主客观评价方法相关性,提出了一种使用相位一致性特征和梯度特征的主客观联合损失函数,用来拟合超分辨率图像在主观视觉感受上的评价效果,同时本文利用多尺度稠密残差块设计对红外图像超分辨率重建网络进行优化改进.实验结果表明,和SRCNN等经典超分辨率重建网络相比,使用本文算法重建的红外超分辨率图像在保持良好的客观评价质量的同时,具有更好的主观视觉效果.

  • References

    • 1

      Ledig C, Theis L, Huszar F, et al. Photo-realistic single image super-resolution using a generative adversarial network[J]. Computer Vision And Pattern Recognition, 2017: 105-114.

    • 2

      Wang Z,Bovik A C,Sheikh H R,et al.Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13 (4):600-612.

    • 3

      Zhang L, Zhang L, Mou X, et al. FSIM: A feature similarity index for image quality assessment[J]. IEEE Transactions on Image Processing, 2011, 20(8): 2378-2386.

    • 4

      https://newonlinecourses.science.psu.edu/stat509/node/155/

    • 5

      Morrone M C, Owens R A. Feature detection from local energy[J]. Pattern Recognition Letters, 1987, 6(5): 303-313.

    • 6

      Kovesi P. Phase congruency: A low-level image invariant[J]. Psychological Research, 2000, 64(2):136-148.

    • 7

      Shi W, Caballero J, Huszar F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[J]. Computer Vision and Pattern Recognition, 2016: 1874-1883.

    • 8

      Dong C, Loy C C, Tang X, et al. Accelerating the super-resolution convolutional neural network[J]. European Conference on Computer Vision, 2016: 391-407.

    • 9

      He K, Zhang X, Ren S, et al. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification[C]. Proceedings of the IEEE International Conference on Computer Vision. 2015: 1026-1034.

    • 10

      He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[J]. Computer Vision and Pattern Recognition, 2016: 770-778.

    • 11

      https://www.flir.com/oem/adas/adas-dataset-form/

    • 12

      González A, Fang Z J, Socarras Y, et al. Pedestrian detection at day/night time with visible and fir cameras: a comparison[J]. Sensors, 2016, 16(6):820.

    • 13

      Kingma D P, Ba J. Adam: A method for stochastic optimization[J]. Computer Science, 2014.

    • 14

      Dong C, Loy C C, He K, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2): 295-307.

邵保泰

机 构:

1. 中国科学院上海技术物理研究所,上海 200083

2. 中国科学院大学,北京 100049

3. 中国科学院智能红外感知重点实验室,上海;200083

Affiliation:

1. Shanghai Institute of Technical Physics, Chinese Academy of Sciences, Shanghai 200083, China

2. University of Chinese Academy of Sciences, Beijing 100049, China

3. Key Laboratory of Intelligent Infrared Perception, Chinese Academy of Sciences, Shanghai 200083, China

邮 箱:shaobaotai@sina.com

作者简介:(Biography):邵保泰(1993-),男,山东聊城人,博士研究生,主要研究领域为计算机视觉与深度学习。E-mail:shaobaotai@sina.com

汤心溢

机 构:

1. 中国科学院上海技术物理研究所,上海 200083

3. 中国科学院智能红外感知重点实验室,上海;200083

Affiliation:

1. Shanghai Institute of Technical Physics, Chinese Academy of Sciences, Shanghai 200083, China

3. Key Laboratory of Intelligent Infrared Perception, Chinese Academy of Sciences, Shanghai 200083, China

角 色:通讯作者

Role:Corresponding author

邮 箱:gq227@mail.sitp.ac.cn

作者简介:E-mail: gq227@mail.sitp.ac.cn

张 宁
html/hwyhmbcn/2019140/alternativeImage/164f76cd-7c42-4a65-9e8a-b0dee7725a60-F001.png
下采样因子超分辨率方法主观分数PSNRSSIMFSIM
14Bicubic1.2623.290.624 10.546 1
24SRCNN1.6325.890.686 60.626 8
34SRResnet2.1925.720.728 60.700 8
42Bicubic2.5729.240.848 40.752 6
52SRCNN3.9830.980.909 20.887 0
62SRResnet4.5030.220.926 10.921 8
PSNRSSIMFSIM
SROCC0.90720.94090.9726
KROCC0.82820.86040.9004
PLCC0.89200.93270.9576
html/hwyhmbcn/2019140/alternativeImage/164f76cd-7c42-4a65-9e8a-b0dee7725a60-F002.png
html/hwyhmbcn/2019140/alternativeImage/164f76cd-7c42-4a65-9e8a-b0dee7725a60-F003.png
html/hwyhmbcn/2019140/alternativeImage/164f76cd-7c42-4a65-9e8a-b0dee7725a60-F004.png
html/hwyhmbcn/2019140/alternativeImage/164f76cd-7c42-4a65-9e8a-b0dee7725a60-F005.png
数据集评价标准BicubicSRCNN[14]SRResnet[1]SRGAN[1]Proposed
自建PSNR26.1527.3928.9727.8929.48
SSIM0.65490.70450.75810.78490.8009
FSIM0.54370.59110.62970.68440.7516
FLIRPSNR28.1029.6631.2931.0532.10
SSIM0.68590.74570.78950.82050.8543
FSIM0.55530.62650.77800.78340.8425
CVC-14PSNR21.8022.8224.2823.8425.21
SSIM0.85430.88520.93150.91960.9407
FSIM0.64610.70550.75860.78090.8532
数据集评价标准IRSR-MSEIRSR-advIRSR(ours)
自建PSNR30.1929.9729.48
SSIM0.76160.79900.8009
FSIM0.7225072020.7516
FLIRPSNR32.9232.7832.10
SSIM0.80270.82270.8543
FSIM0.79060.81160.8425
CVC-14PSNR26.9025.7225.21
SSIM0.94610.95070.9407
FSIM0.80770.83910.8532
主观评价(排名第一数量)097213
html/hwyhmbcn/2019140/alternativeImage/164f76cd-7c42-4a65-9e8a-b0dee7725a60-F006.png

图1 红外图像示例

Fig.1 Examples of infrared images

表1 红外图像质量评价分数

Table 1 Quality evaluation score of infrared image

表2 主客观评价相关性结果

Table 2 Results of the correlation between subjective and objective evaluation

图2 主客观评价分数散点图

Fig.2 Scatter plots of the subjective and objective evaluation scores

图3 单帧红外图像超分辨率重建网络结构示意图

Fig.3 Architecture of IRSR

图4 多尺度稠密残差块结构

Fig.4 Architecture of multi-scale dense residual block

图5 红外超分辨率图像(1)

Fig.5 Infrared super-resolution images (1)

表3 红外超分辨率图像客观评价得分

Table 3 Objective evaluation score of infrared super-resolution images

表4 红外超分辨率图像评价结果

Table 4 Evaluation results of infrared super-resolution images

图6 红外超分辨率图像(2)

Fig.6 Infrared super-resolution images (2)

image /

无注解

无注解

无注解

无注解

无注解

无注解

无注解

无注解

无注解

无注解

  • References

    • 1

      Ledig C, Theis L, Huszar F, et al. Photo-realistic single image super-resolution using a generative adversarial network[J]. Computer Vision And Pattern Recognition, 2017: 105-114.

    • 2

      Wang Z,Bovik A C,Sheikh H R,et al.Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13 (4):600-612.

    • 3

      Zhang L, Zhang L, Mou X, et al. FSIM: A feature similarity index for image quality assessment[J]. IEEE Transactions on Image Processing, 2011, 20(8): 2378-2386.

    • 4

      https://newonlinecourses.science.psu.edu/stat509/node/155/

    • 5

      Morrone M C, Owens R A. Feature detection from local energy[J]. Pattern Recognition Letters, 1987, 6(5): 303-313.

    • 6

      Kovesi P. Phase congruency: A low-level image invariant[J]. Psychological Research, 2000, 64(2):136-148.

    • 7

      Shi W, Caballero J, Huszar F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[J]. Computer Vision and Pattern Recognition, 2016: 1874-1883.

    • 8

      Dong C, Loy C C, Tang X, et al. Accelerating the super-resolution convolutional neural network[J]. European Conference on Computer Vision, 2016: 391-407.

    • 9

      He K, Zhang X, Ren S, et al. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification[C]. Proceedings of the IEEE International Conference on Computer Vision. 2015: 1026-1034.

    • 10

      He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[J]. Computer Vision and Pattern Recognition, 2016: 770-778.

    • 11

      https://www.flir.com/oem/adas/adas-dataset-form/

    • 12

      González A, Fang Z J, Socarras Y, et al. Pedestrian detection at day/night time with visible and fir cameras: a comparison[J]. Sensors, 2016, 16(6):820.

    • 13

      Kingma D P, Ba J. Adam: A method for stochastic optimization[J]. Computer Science, 2014.

    • 14

      Dong C, Loy C C, He K, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2): 295-307.