低照度短波红外图像增强算法

张瑞; 汤心溢; 李争; ZHANG Rui; TANG Xin-Yi; LI Zheng

网刊加载中。。。

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

低照度短波红外图像增强算法 PDF

- ORCID：
张瑞 ^1,2,3
- ORCID：
汤心溢 ^2,3
- ORCID：
李争 ^2,3

1. 中国科学院大学，北京　100049； 2. 中国科学院上海技术物理研究所，上海　200083； 3. 中国科学院红外探测与成像技术重点实验室，上海　200083

中图分类号： TP3-05

最近更新：2020-12-23

DOI：10.11972/j.issn.1001-9014.2020.06.022

摘要

为了拓展非制冷短波红外探测器在弱光夜视观测方面的应用，开展了针对短波红外低照度成像的研究。提出了一种新的图像增强方法抑制图像噪声增强图像细节进而改善图像质量。使用3D降噪（3DNR（3D Noise reduction））算法，将多尺度高斯差分法结合边缘保持滤波器最大限度地分离图像高频信息与隐藏噪声，再针对图像进行自适应灰度映射。实验结果表明：该算法显著地抑制了在低照度下图像的时域噪声，丰富了短波红外图像的细节，改善了短波红外的夜视显示效果。

关键词

低照度; 短波红外; 视网膜模型; 图像增强; 降噪

引言

短波InGaAs红外成像技术工作波段主要在0.9∼1.7 µm，其成像模式以反射为主。近年来取得了快速的发展，国内已有1k×1k的焦平面探测器面世，相较于可见光成像，短波红外在微光夜视方面独具特点。因户外作业对红外成像系统的要求，小SWaP（Size， Weight and Power）短波成像技术在低照度下成像成为当前的一个研究热点^［

1］。

低照度下短波红外探测器的成像质量主要受暗电流噪声、非均匀性噪声、以及低照度等三方面影响。低照度下，如果没有控温系统，探测器的温度会产生较大的变化，成像会有较为严重的热噪声问题。热噪声是一种随着时间随机分布的噪声，如果不对获得的图像进行处理，则会严重影响图像的信噪比^［

2］。

目前，基于retinex^［

3］（视网膜模型）的图像夜视增强算法已经得到了一定程度的发展。1997年Jobson等人提出中心环绕的retinex方法^{［参考文献 4

百度学术}4］，后来又出现了一些变分retinex方法^{［参考文献 5-9}5-9］。以上算法对于信噪比高的图像性能优良，但对于信噪比较弱的场景不太适用。为此，采用3DNR算法，抑制图像的随机噪声，然后设计了基于retinex的图像细节与对比度增强算法，有效地提升了图像的细节，改善了图像的显示效果。

1 带噪声抑制的图像增强算法

设计的带噪声抑制的图像增强算法对图像进行了多次降噪，包括设计时域滤波器，以及针对空间细节信息的滤波来改善图像的信噪比，提升图像对比度，从而达到提升图像质量的目的。

1.1　3D降噪算法

针对低照度下短波红外图像较强强度的暗电流噪声的特点，参考［10-11］设计了3DNR（3D noise reduce ）^［

10-11］算法来消除原始图像数据的随机噪声。该算法针对CMOS传感器、ADC模拟信号接收等引入的噪声，具有非常好的抑制效果。

1.1.1　噪声分析

在低照度模式下，由于CMOS探测器的工艺特性，图像中的噪声非常严重，如图1所示，按时间轴主要分为随机噪声和非随机噪声。随机噪声主要包括高斯噪声、白噪声、椒盐噪声等^［

12-13］；非随机噪声主要为固定纹理噪声，此类噪声在低照度下非主要噪声，因此不做讨论。由于随机噪声在时间轴上的随机性特点，下面将介绍针对此类噪声设计的算法。

图1 短波红外夜视原始图像

Fig.1 Raw image of short-wave infrared night vision

根据以上分析设计的低照度下信号模型如下：

I m a g e = \{\begin{matrix} S (x, y) + N (x, y), g = 1 \\ g * (S (x, y) + N (x, y), g > 1 \end{matrix}

，

（1）

其中g为相机的增益。在这种情况下，将获得的图像按时间进行平均，那么噪声的平均 $a v g (N (x, y)) \to 0$ ，于是将得到：

a v g (I m a g e) = g * a v g (S (s, y))

（2）

1.1.2　算法结构

根据图像采集过程，获取的每一帧图像与它前后帧都有一定的关系，如图2所示，如果只利用当前帧，那么就浪费了前后帧的信息，而这些信息是降噪的关键。本文设计的降噪算法框架如图3所示。

图2 图像前后帧关系

Fig.2 Relationship of current and previous frame

图3 3DNR方案框架

Fig.3 Framework of 3DNR

其中

I_{o u t p u t} = \frac{1}{α} I_{x, y, t} + (1 - \frac{1}{α}) I_{x, y, t - 1}

，

（3）

m o t i o n (i, j) = t h r e s h o l d (m a x (∆ b, ∆ c)) | t h r e s h o l d (∆ d)

（4）

通过帧差法以及对阈值 $∆ b$ ， $∆ c$ 的控制提取图像中运动部分，然后将背景通过多帧叠加求平均的方式来进行降噪，最后再将运动部分与背景部分合成为一张图像。其中参数 $α = 10$ （根据图4中 $α$ 对图像信噪比的影响确定）。Δb表示当前图像与背景图像的差值，背景图像为当前图像经过低通滤波后的图像，Δc表示当前图像与前一帧图像的差值， $∆ d$ 表示由Δc后延一帧的结果。

图4 $α$ 对图像噪声的影响

Fig.4 Effect of α on image noise

在降噪算法的设计中，α对降噪效果有着显著的影响，其中噪声与 $α$ 关系计算式如式（5）所示，VAR表示方差， $I_{i}$ 、 $I_{o u t p u t}$ 分别表示待处理图像以及处理完成后图像。通过对 $α$ 的调整，从一张图像中分离出噪声与信号部分，直至两者都趋于一个稳定的结果。从图4可以得出，随着 $α$ 的增大图像信噪比的变化的越弱。因此在本文的算法中选取了一个较大的 $α$ 值， $α = 10$ 。

D_{α} = 10 l o g_{10} [\frac{\sum_{i = 1}^{M} \sum_{j = 1}^{N} I_{o u t p u t} {(i, j)}^{2}}{\sum_{i = 1}^{M} \sum_{j = 1}^{M} {[I (i, j) - I_{o u t p u t} (i, j)]}^{2}}]

（5）

1.2　多尺度retinex图像增强算法

针对红外短波探测器的特性以及短波夜视图像的特点，考虑到对细节增强、对比度拉伸等传统算法的缺陷，本文算法在实现细节增强的同时增加了对图像噪声的抑制，进而减少由对比度拉伸带来的信噪比降低问题。

1.2.1　图像细节增强

由于低照度情况下，进光量的降低，再加上探测器的暗电流噪声问题，景物的纹理变得更加模糊，反映在图像上的纹理更加不清晰（如图1所示），需要对图像的细节做进一步提升，因此设计了多尺度高斯差分算法来增强图像的细节^［

14-15］。

首先使用了三种不同尺度的高斯核来获取不同程度的高斯模糊函数，如式（6）所示：

B_{1} = G_{1} * I m a g e^{*}, B_{2} = G_{2} * I m a g e^{*}, B_{3} = G_{3} * I m a g e^{*}

，

（6）

其中 $G_{1} = 1, G_{2} = 2, G_{3} = 4$ ， $I m a g e^{*}$ 为原始图像，接着提取最优细节 $D_{1}$ ，中等细节 $D_{2}$ ，以及粗糙细节 $D_{3}$ 等3种不同程度的细节，分别如式（7）所示：

D_{1} = I m a g e^{*} - B_{1}, D_{2} = B_{1} - B_{2}, D_{3} = B_{2} - B_{3}

（7）

然后通过融合上式三中不同尺度的细节来获取全局的细节，如式8所示：

D_{a l l} = (1 - w_{1} \cdot s g n (D_{1})) \cdot D_{1} + w_{2} \cdot D_{2} + w_{3} \cdot D_{3}

（8）

由于短波红外图像纹理特征相对于可见光较弱的特点，将参数 $w_{1}, w_{2}, w_{3}$ 分别设置为 $w_{1} = 0.15, w_{2} = 0.95, w_{3} = 0.25$ ，通过前两个参数 $w_{1}, w_{2}$ 来最大尺度地获取更加丰富的细节，通过减小 $w_{3}$ 来获取粗细节，同时还能抑制对噪声的过分提取。

接着将由式8得到的细节融合到原图中：

I m a g e_{e n h a n c e d} = B F (D_{a l l}) + I m g a e^{*}

，

（9）

其中 $B F$ 为Bilateral Filter。由于低照度图像的特点，在提取细节时，式（8）会将隐藏的噪声提取出来，融合之后将噪声也顺带增强。由于高斯滤波的自身特点，融合后的图像会在图像纹理的边缘产生伪影。因此对提取的细节信息进行双边滤波，可以有效地减少对噪声的二次增强，以及图像伪影现象，如图5所示。其中第一行Origin表示经降噪后的图像，Traditional为有伪影以及信噪比被破坏的结果，最后是本文方案的处理结果。下面一行为绿色框中的细节图。可以看到，传统方案在建筑物的附近产生了一圈伪影，同时天空噪声得到了加强，明显降低了图像的信噪比，而本文的方案在提升图像的对比度的同时抑制了噪声，使得天空背景更加的均匀明亮，同时还改善了伪影现象。

图5 图像伪影以及噪声问题说明

Fig.5 Image artifacts and noise problem description.

1.3　灰度映射与对比度增强

最后引入自适应retinex来压缩图像动态范围与增强图像对比度^［

16-18］，如式（10）：

L_{o u t} (x, y) = α (x, y) l o g (\frac{L_{g} (x, y)}{G u i d e d f i l t e r (L_{g} (x, y))} + β)

，

（10）

其中 $L_{g} (x, y)$ 为图像的全局亮度

L_{g} (x, y) = \frac{l o g (L_{o r g i n} (x, y) / {\bar{L}}_{o r g i n} + 1)}{l o g (L_{o r g i n_{m a x}} / {\bar{L}}_{o r g i n} + 1)}

（11）

{\bar{L}}_{o r g i n} = e x p (\frac{1}{N} \sum_{x, y} l o g (ζ + L_{o r g i n} (x, y)))

（12）

$L_{o r g i n} (x, y)$ 为原始图像亮度值， ${\bar{L}}_{o r g i n}$ 是原始图像的亮度均值，N表示图像像素数量， $ζ$ 则是为了避免图像中的零点而给图像赋予的最小值。

$α (x, y)$ 为对比度控制因子，为了改善图像对比度，设计的式子如式（13）所示：

α (x, y) = \frac{2}{π} \cdot a r c t a n (a \cdot \frac{ρ (x, y)}{ρ_{m a x}}) \cdot ρ_{m a x}

，

（13）

ρ (x, y) = {[1 + φ \cdot \frac{L_{g} (x, y)}{L_{g m a x}}]}^{(1 + \frac{b \cdot L_{g m a x}}{L_{g m a x} + φ \cdot L_{g} (x, y)})}

，

（14）

β = λ {\bar{L}}_{g}

（15）

式（13）中参数 $a$ 为对 $ρ (x, y)$ 衰减控制参数，式（14）中 $L_{g m a x}$ 是全局对比度 $L_{g}$ 的最大值，参数b为全局对比度拉伸速度的控制参数， $φ$ 为对比度拉伸控制参数，λ为非线性控制参数，式（15）中 ${\bar{L}}_{g}$ 为全局对比度 $L_{g}$ 的平均值。本文中使用的各个参数值为 $a = 1.35$ ， $b = 1$ ， $φ = 36$ ， $λ = 10$ ， $ζ = 1$ ［10］。

2 实验与分析

2.1　降噪分析

针对低信噪比的情况，本文设计的算法通过3DNR对图像进行了降噪预处理。3DNR的处理结果如图6所示，本文的算法对图像噪声有了明显的抑制，同时又能够很好的保存图像的高频细节信息，例如车、植物树叶的边缘都得到了有效保存。在图6（b）中，由sobel算子求导的结果来看，汽车的边缘轮廓更加清晰，加强了建筑物的轮廓。此外，motion（i，j）的阈值很好地排除了噪声对图像的影响，没有带来额外的模糊，为后续的增强提供了基础。

图6 3DNR处理前后图像对比以及其sobel算子求导结果对比

Fig.6 Image comparison before and after processing by 3DNR

2.2　实验结果

对3.1中的图片进行最终测试，如图7所示。采用了CLAHE（Contrast-Limited Adaptive Histogram Equalization）^［

19］算法，Kim Y等人提出的基于像素对对比度增强算IEBPT^{［参考文献 14

百度学术}14］（Image Enhancement Based on Pairwise Target），基于变分retinex的LIME^{［参考文献 20

百度学术}20］算法等作为对比，一共选取1~4共4个场景下的图像作为算法比较数据（如图7所示），第一行为原始图像，第二行到第四行分别为CLAHE、LIME以及IEBPT等三种算法，第五行为本文设计的算法。从数据可以看出，设计的算法对比度增强效果最好，图像纹理也得到了增强。

图7 图像处理结果

Fig.7 Image processing results

图7中第一列与第三、四列图像整体纹理复杂图较高，本文设计的图像对比度的拉伸效果相对于原始图像以及其他三种算法对比度拉伸效果尤为明显（在图8中给出了第二、三列图像数据的sobel算子的求导结果），同时还锐化了图像中的细节，包括树木、植物以及车子的边框等。在第二列中本文的算法使得背景天空更加的清澈明亮，相较于CLAHE、LIME以及IEBPT算法，避免了因为对比度拉伸而造成的信噪比降低问题。此外本文设计的细节增强算法，在提升图像细节信息的同时抑制了由retinex模型缺陷造成的伪影现象，合理地改善了图像中边缘细节信息。由于CLAHE、LIME以及IEBPT等算法的缺陷，在图像增强时会增强噪声，这一点在图像数据求导后尤为明显。从图8也可以看出图7第三列图像的导数明显地凸显出了本文设计的算法对噪声的抑制特性，同时本文的算法对图像纹理的增强也更有深度。

图8 图7中第2、3列图像数据及其梯度数据

Fig.8 Image and its gradient data of second and third column in Fig. 7

从实验图像数据结果来看，本文方法明显地改善了图像的视觉效果，对比度拉伸效果明显优于CLAHE、IEBPT以及LIME算法，信噪比从视觉效果上也展现出更好的效果。为了更进一步的说明本文方法的优势，采用了无参考图像质量评价标准NIQE^［

21］来评价本文的图像质量。这种评价方式如式（16）-（17）所示。

D (v_{1}, v_{2}, Σ_{1}, Σ_{2}) = \sqrt[]{({(v_{1} - v_{2})}^{T} {(\frac{Σ_{1} + Σ_{2}}{2})}^{- 1} (v_{1} - v_{2}))}

，

（16）

f_{X} (x_{1}, \dots, x_{2}) = \frac{1}{{(2 π)}^{k / 2} {|Σ|}^{1 / 2}} e x p (- \frac{1}{2} {(x - v)}^{T} Σ^{- 1} (x - v))

，

（17）

其中 $v_{1}$ ， $v_{2}$ ，以及 $Σ_{1}$ ， $Σ_{2}$ 分别是自然图像与失真图像的多变量高斯模型MVG（Multivariate Gaussian）通过最大似然估计过程计算得出的均值向量与协方差矩阵，MVG如式（17）所示。从式（16）可以知道分数越低表示图像的质量越高，即图像质量与评价分数成反比。评价分数如表1所示，本文设计的方法在评分上明显优于CLAHE，LIME以及IEBPT算法，同时也佐证了这三种算法在拉伸对比度的同时，会严重影响图像质量的缺点，这一点与人眼观测的结果一致。

表1 NIQE评价分数

Table 1 The score of NIQE

NIQE	1	2	3	4
Original Image	7.706 2	8.094 3	10.877 5	12.605 5
CLAHE	9.776 4	12.912 9	17.966 0	20.518 9
LIME	6.241 2	5.753 0	6.621 1	5.570 4
IEBPT	6.761 9	3.791 0	6.554 3	10.469 8
Our Method	5.970 1	2.944 2	4.693 5	5.141 6

3 结论

依据低照度环境下CMOS探测器成像的特点，设计了针对高灵敏度InGaAs探测器的3DNR算法，提出了针对低照度下retinex模型算法的改进方法，提高了低照度下短波红外图像的信噪比，改善了短波图像在夜视情况下的成像效果，促进了InGaAs短波夜视成像的发展。同时由于探测器在高增益下像元响应的高灵敏度特性，以及探测器本身工艺问题而引起的固定纹理噪声也更加明显，因此进一步探索更加合适的非均匀性校正算法尤为重要，这也是未来的工作重点。

References

Junhua L， Xinjiang G， Xun Z. Developments and perspectives of SWIR InGaAs focal plane arrays ［J］. Semiconductor Optoelectronics（刘军华，高新江，周勋. 短波红外InGaAs焦平面探测器的技术进展. 半导体光电）， 2015， 36（5）. 683-688. [百度学术]

Battaglia J， Blessinger M， Enriquez M， et al. An uncooled 1280 x 1024 InGaAs focal plane array for small platform， shortwave infrared imaging ［J］. Proceedings of SPIE - The International Society for Optical Engineering， 2009， 7298： 72983C. [百度学术]

Land E H， McCann J. Lightness and retinex theory ［J］. Journal of the Optical Society of America， 1971， 61（1）： 1-11. [百度学术]

Jobson D J， Rahman Z， Woodell G A. Properties and performance of a center/surround retinex ［J］. IEEE Trans Image Process， 1997， 6（3）： 451-462. [百度学术]

Wang L， Xiao L， Liu H， et al. Variational Bayesian method for retinex ［J］. IEEE Trans Image Process， 2014， 23（8）： 3381-3396. [百度学术]

Park S， Yu S， Moon B， et al. Low-light image enhancement using variational optimization-based retinex model ［J］. IEEE Transactions on Consumer Electronics， 2017， 63（2）： 178-184. [百度学术]

Teng L， Xue F， Bai Q. Remote sensing image enhancement via edge-preserving multiscale retinex ［J］. IEEE Photonics Journal， 2019， 11（2）： 1-10. [百度学术]

Liu L， Pang Z F， Duan Y P. A Novel Variational Model for Retinex in Presence of Severe Noises［C］. Ieee International Conference on Image Processing （Icip）， 2017：3490-3494. [百度学术]

Li M， Liu J， Yang W， et al. Structure-revealing low-light image enhancement via robust retinex model ［J］. IEEE Trans Image Process， 2018， 27（6）： 2828-2841. [百度学术]

Yahya A-A， Tan J， Li L. Video noise reduction method using adaptive spatial-temporal filtering ［J］. Discrete Dynamics in Nature and Society， 2015， 2015： 1-10. [百度学术]

Lee W-J， Lee S-W. Improved spatiotemporal noise reduction for very low-light environments ［J］. IEEE Transactions on Circuits and Systems II： Express Briefs， 2016， 63（9）： 888-892. [百度学术]

Kumar B A， Kumar J B. A review paper ： Noise models in digital image processing ［J］. Signal & Image Processing ： An International Journal， 2015， 6（2）： 63-75. [百度学术]

Pei S C， Shen C T. High-Dynamic-Range Parallel Multi-Scale Retinex Enhancement with Spatially-Adaptive Prior［C］.2014 Ieee International Symposium on Circuits and Systems （Iscas）， 2014：2720-2723. [百度学术]

Kim Y， Koh Y J， Lee C， et al. Dark image enhancement based on pairwise target contrast and multi-scale detail boosting［C］.IEEE International Conference on Image Processing， 2015. [百度学术]

Zahid M， Nazeer M， Nargis B， et al. Human visual enhancement using Multi Scale Retinex ［J］. Informatics in Medicine Unlocked， 2018， 13： 9-20. [百度学术]

H A， B K， D K. Adaptive Local Tone Mapping Based on Retinex for High Dynamic Range Images［C］. Consumer Electronics （ICCE）， 2013. [百度学术]

Frederic D， Karol M， Thomas A， et al. Adaptive logarithmic mapping for displaying high contrast scenes ［J］. Computer Graphics Forum， 2003， 22（3）： 419-426. [百度学术]

Tanaka H， Waizumi Y， Kasezawa T. Retinex-based signal enhancement for image dark regions ［C］. 2017 IEEE International Conference on Signal and Image Processing Applications （Icsipa）， 2017： 205-209. [百度学术]

Karel Z. Contrast limited adaptive histogram equalization ［M］. Graphics Gems IV， 1994： 474-485. [百度学术]

Guo X j， Li Y， Ling H B. LIME： Low-light image enhancement via illumination map estimation ［J］. IEEE Trans Image Process， 2017， 26（2）： 982-993. [百度学术]

Mittal A， Soundararajan R， Bovik A. Making a “completely blind” image quality analyzer ［J］. IEEE Signal Processing Letters， 2013， 20（3）： 209-212. [百度学术]

您是第位访问者

主管单位：中国科学院

主办单位：中国科学院上海技术物理研究所，中国光学学会

地址：上海市玉田路500号电话：021-25051553

51La

首页

学报简介

编委会

征稿简则

版权声明

开放获取

出版道德声明

相关下载

联系我们

常见问题

English Version

低照度短波红外图像增强算法 PDF

摘要

关键词

引言