en
×

分享给微信好友或者朋友圈

使用微信“扫一扫”功能。
参考文献 1
ZHAO Jia-Jia, TANG Zheng-Yuan, YANG Jie,et al. Infrared small target detection based on image sparse representation[J]. J. Infrared Millim. Waves(赵佳佳, 唐峥远, 杨杰,等. 基于图像稀疏表示的红外小目标检测算法[J]. 红外与毫米波学报, 2011,30(2):156-162.
目录 contents

    摘要

    为了提高海上红外弱小目标检测的检测精度和实时性,提出了一种基于加权场景先验的红外弱小目标检测方法.该方法首先利用目标的稀疏特性以及海面场景的非局部自相关特性,将目标和背景的分离问题转化为恢复低秩和稀疏矩阵的鲁棒主成分分析(Robust Principal Component Analysis,RPCA)问题.之后,将海面背景的先验特征信息通过加权核范数的方式加入模型,加快算法中目标和背景图像块矩阵的分解速度.最后,通过引入交替方向乘子法(ADMM)算法进一步加速求解的迭代速度.实验结果表明:该算法能有效地提高目标检测准确率,算法实时性较原算法提高了120%.

    Abstract

    To further to improve the detection accuracy and real-time performance of infrared small target detection at sea, a new method based on weighted scene priors is introduced. Firstly, using the sparse characteristics of the target and the non-local self-correlation characteristics of the sea background, the target-background separation problem is modeled as a robust low-rank matrix recovery problem. Moreover, the prior information on sea background is added into the model by weighted nuclear norm to accelerate the decomposition of target and background images’ matrix in the algorithm. Finally, the alternating direction method of multipliers (A DMM) is introduced to further to accelerate the iteration speed of the solution. The experimental results show that the proposed algorithm can effectively improve the accuracy of target detection. The real-time performance of the algorithm is improved by 120% compared with the original algorithm.

  • 引言

    在海事搜救、港口监测等工作中,海面红外弱小目标的精准检测至关重要.常用的目标检测算法包括:多帧检测和单帧检测方[1].由于多帧检测方法通常依赖于目标和帧间背景信息一致的某些假设,以及目标形状和速度的先验知识.但这些预设假设和先验知识很难在应用中获得,因此单帧的弱小目标检测应用更为广泛.

    其中单帧红外小目标检测方法可分为两类:一类是基于滤波的目标检测算[2],如Top-hat、二维最小均方(Two-Dimensional Least Mean Square,TDLMS)滤波器和最大中值滤波器,都是通过从原始图像中减去预测背景达到目标检测的目的.但实际图像中除了目标之外,Top-hat等方法还增强了海面背景的边缘信息,因此该类方法在背景和边缘干扰较强的海空背景下达到目标检测的目的并不理[3];另一类是基于局部先验然后利用局部对比度的目标检测算法.如局部对比度测量(Local Contrast Measure,LCM)等方[4],是仅将像素或区域与其邻域进行比较来计算局部对比度.LCM等方法还利用背景图像块的非局部自相关特性,假设所有的背景块都来自单个子空间或低秩子空间簇的混合.

    为此文[5]通过局部块构造将传统的红外图像模型推广到一种新的红外块图像(Infrared Patch-Image,IPI)模型,将目标-背景分离问题转化为恢复低秩和稀疏矩阵的鲁棒主成分分析(Robust Principal Component Analysis,RPCA)问题,从而进一步提升了算法的背景抑制性能.因此该算法目标检测性能优异,但是在背景以及目标矩阵分解时的实时性比较差.

    针对以上问题,本文将海面背景的先验信息通过加权核范数最小化(Weighted Nuclear Norm Minimization,WNNM)的方式引入IPI模型,加速原算法中背景和目标矩阵的分解,并通过引入交替方向乘子算法 (Alternative Direction Method of Multipliers, ADMM)进一步加速分解的迭代速度.实验结果证明所提算法是一种实时性高而且有效的检测算法.

  • 1 红外IPI图像模型

    一般红外图像弱小目标检测模型的表达式[6]:

    fD(x,y)=fT(x,y)+fB(x,y)+fN(x,y),
    (1)

    式中,fDfTfBfN和(xy)分别是原始的红外图像、目标图像、背景图像、随机噪声和像素点位置.

    由式(1)中给出的原始图像fD、背景图像fB、目标图像fT和噪声图像fN,可以分别构造相应的图像块矩阵DBTN.从而传统的红外图像模型被转换成一个新的红外块图像模型(Infrared Patch Image,IPI),即

    D=T+B+N . (2)

    式(2)中,首先,对目标图像块矩阵T而言,由于对于整个图像来说目标本身很小,因此目标图像fT可以被看作是稀疏矩阵,这使得对应的目标块图像T也是稀疏矩[7],即

    T0<k,
    (3)

    式(3)中,||•||0是表示l0-范数,k由图像中目标的数量以及尺寸大小决定.显然km×nm×nT的大小),意味着矩阵T的大多数项都是零.

    对背景图像块矩阵B而言,由于红外图像相应的背景块图像奇异值都迅速减少到零,因此可以把背景块图像B看作是一个低秩矩[8],即

    rankBr,
    (4)

    式(4)中,r是一个常数.常数r限制了背景图像的复杂度,复杂背景下r的值比均匀背景下大.

    最后,对噪声图像块矩阵而言,假定红外图像中的随机噪声是高斯噪[9],则NFδ,其中δ>0.因此可以得到式(5)

    D-B-TFδ,
    (5)

    式(5)中,||•||F表示Frobenius范数.

    由于小目标检测任务本质上是一个从数据矩阵中恢复低秩和稀疏矩阵的典型问题,可根据稳定性主成分追踪(Stability Principal Component Pursuit,SPCP)理论,进而将目标检测任务转化成求解一个凸优化问[10].即IPI模型是利用低秩矩阵恢复理论来同时恢复背景矩阵、目标矩阵和一个重构误差项的最小化问题.其模型如下:

    minB,TB*+λT1,s.t.D-B-TFδ,
    (6)

    式(6)中,||•||*表示矩阵的核范数(即奇异值的总和),||•||1表示l1范数(即||T||1=∑ij|Tij|),λ>0是权重常数.为了提高求解可行性,式(6)中对式(3)和式(4)进行了凸松弛,即用||B||*,||T||1分别代替式(4)中rank(B)和式(3)中||T||0.

    以上便是基于IPI模型进行弱小目标检测的核心思想,其算法的具体流程如图1所示.首先,按照固定大小的图像块尺寸和步距从红外图像fD中提取图像块,以此构成图像块矩阵D.然后应用加速近端梯度(Accelerated Proximal Gradient,APG)方法解决式(6)中的凸优化问[11],可以同时估计出低秩背景块图像矩阵B和稀疏目标块图像矩阵T,之后根据块图像BT分别重建背景图像fB和目标图像fT.

    图1
                            基于IPI模型的弱小目标检测方法流程

    图1 基于IPI模型的弱小目标检测方法流程

    Fig. 1 Detection flow of dim and small target detection based on IPI model

  • 2 基于WNNM的IPI模型优化

  • 2.1 加权核范数最小化模型

    在文献IPI中采用加速近端梯度法(APG)算法来求解模型(6)的最优解,其核心思想是在每一次迭代过程中通过软阈值的方式求解背景矩阵B和目标矩阵T.例如,其中背景矩阵的求解方式如式(7)所示:

    Bk+1=USεkVT,
    (7)

    其中k为迭代次数,UV是矩阵B奇异值分解的左右标准正交列,VT是矩阵V的转置,∑是奇异值分解的特征值σi组成的对角阵,而Sɛ[•]是指定阈值ɛx的收缩算 [12],定义如式(8)所示:

    Sεx=x-ε,x>εx+ε,x<-ε0,otherwise,
    (8)

    式(8)中,x∈Rɛ>0.

    通过式(7)、(8)可知软阈值的求解方式是统一对待所有奇异值,因而忽略了在实际场景中的块图像矩阵D,尤其是其中低秩背景块图像矩阵B的奇异值所具有的先验知识.在海面场景下的红外图像矩阵的奇异值是按非升序排序,其中低序部分代表的是红外图像的海面背景,因此可以分配一个小的权值以减少阈值收缩,防止迭代过程中主要信息被过多的丢失.而中序部分一般反映了目标的特性,因此对该部分奇异值可以分配一个大的权值,使获得的矩阵更具低秩性.

    因此为了达到提高计算的实时性以及准确性的目的,可以将海面图像的背景先验信息融合进IPI模型形成新模型.新模型可用式(9)定义

    minB,TBw,*+λT1,s.t.D-B-TFδ,
    (9)

    其中矩阵B的加权核范数定义为Bw,*=iwiσiBw=[w1,…,wn]T以及wi≥0是分配给B的奇异值σi(B)的非负权重.wi的设置方式通过式(10)自适应调[13]

    wik+1=1σiBk+α,
    (10)

    其中k为迭代次数.为了防止分母为0,预设常数α>0.

  • 2.2 WNNM模型的求解

    为了加快新模型(9)的迭代求解速度,本文引入交替方向乘子算法.式(9)的增广拉格朗日函数如式(11)所示:

    LB,T,Y,μ=Bw,*+λT1+Y,D-B-T+μ2D-B-TF2,
    (11)

    式(11)中<,>的定义是两个矩阵的内积,μ是一个非负的惩罚参数,Y为拉格朗日乘子.

    ADMM算法的主体思想是通过采用交替更新的方法来最小化目标函数(11).首先通过固定TY求一个使得目标函数L最小化的B 即得出minBLB,T,Y),然后固定BY求一个使得目标函数L最小化的T 即得出minTLB,T,Y),如此迭代更新直至收敛即可得到问题(11)的最优[14].

    矩阵B的更新过程如式(12)所示:

    Bk+1=arg minBBw,*+μ/2D-B-Tk+μ-1YkF2,
    (12)

    矩阵T的更新过程如式(13)所示:

    Tk+1=arg minTλT1+μ/2D-Bk+1-T+μ-1YkF2,
    (13)

    矩阵Y的更新过程如式(14)所示:

    Yk+1=Yk+μkD-Bk+1-Tk+1,
    (14)

    由文献[15]可知,若权重wi满足0≤w1w2wn且特征值σi满足σ1σ2σn≥0,则WNNP问题(12)的最优解可以由非均匀奇异值阈值(Nonuniform Singular Value Thresholding,NSVT)算子得到.NSVT算子的定义如式(15)所示:

    Dw[X]=USw[∑]VT , (15)

    式(15)中的w为阈值权重矢量,UV分别是矩阵X奇异值分解的左右标准正交列,∑∈Rr×r是奇异值分解的特征值σi组成的对角矩阵,且Sw[∑]=diag(max(σi-wi),0).

    因此,矩阵B可由NSVT算子进行更新.其中阈值wμ-1w,如式(16)所示:

    Bk+1=Dμ-1wD-Tk+μ-1Yk.
    (16)

    此外,式(13)可通过软阈值算子式(8)更新,其阈值为λμ-1,如式(17)所示:

    Tk+1=Sλμ-1D-Bk+1+μ-1Yk,
    (17)

    通过ADMM算法求解WNNM的整体流程图如图2所示.

    图2
                            交替方向乘子法

    图2 交替方向乘子法

    Fig.2 The alternating direction multiplier method

  • 3 实验测试

  • 3.1 实验设计

    为了验证该算法的检测效果与实时性,选择多幅不同的红外图像进行实验.在实验中,引入检测率、虚警率、信杂比以及运行时间作为客观评价指标,并将该算法分别与Top-hat、Max-Median、TDLMS、LCM以及 IPI 等5种弱小目标检测算法进行了比较.

    其中检测率作为实验的客观评价指标,其定义为:

    Pd=,
    (18)

    其中,目标被认定正确检测须同时满足以下两个要求:1)检测结果和图像的实际目标有重叠像素;2) 图像中实际目标的中心位置与检测结果的像素距离在一个阈值(4个像素)之内.

    实验还选取了虚警率作为客观评价指标,其定义为:

    Fa=,
    (19)

    此外,为了对本文算法以及Top-hat等5种弱小目标检测算法进行定量比较,选择信杂比(Signal Noise Ratio,SCR)作为客观分析的指标,其定义为

    SCR=μt-μbσb,
    (20)

    式中,μt是目标的平均像素值,μaσb分别是目标周围相邻区域的平均像素值和像素值的标准偏差值.一般来说,目标的SCR越高,就越容易被检测到.

  • 3.2 实验结果

    选取三幅典型的海面红外图像作为测试图像.其中第一幅图像I1是126×110像素的海空背景,其特点为单目标、有较长的成像距离、信噪比比较低;第二幅图像I2是229×243像素的海面背景,其特点为单目标、有较短的成像距离、海面杂波干扰比较大;第三幅图像I3是250×250像素的海空背景,其特点为有多个目标、噪声干扰比较大.

    图3分别给出了用Top-hat、LCM等4种弱小目标检测算法对三幅红外图像滤波后得到的目标图像和三维图像,以及用IPI和本文算法获得到目标图像和三维图像结果.从图3明显看出通过Top-hat等传统方法和LCM方法处理后的图像仍然存在部分背景杂波与噪声,影响目标的最终检测结果.此外,由于IPI并未考虑图像具有严重杂波和噪声影响的情况,会产生部分误检结果;而本文算法在IPI的基础上,引入海面背景的先验信息,提高了目标--背景矩阵分解的计算准确性,因此获得了更好的检测效果.

    /html/hwyhmbcn/2019086/alternativeImage/7fe8a303-b805-4cbb-8d44-38cc19315348-F005.png
    /html/hwyhmbcn/2019086/alternativeImage/7fe8a303-b805-4cbb-8d44-38cc19315348-F006.png
    /html/hwyhmbcn/2019086/alternativeImage/7fe8a303-b805-4cbb-8d44-38cc19315348-F007.png
    /html/hwyhmbcn/2019086/alternativeImage/7fe8a303-b805-4cbb-8d44-38cc19315348-F008.png
    /html/hwyhmbcn/2019086/alternativeImage/7fe8a303-b805-4cbb-8d44-38cc19315348-F009.png

    图3 6种算法的结果以及各自的三维显示图

    Fig.3 Results of the six algorithms and their respective three-dimensional display

    为了对6种算法的目标检测性能进行更加综合的评价,选择目标检测中常用的ROC(Receiver Operating Characteristic)曲线作为评价指标.ROC曲线是关于检测概率和虚警概率的函数曲线,它以检测率为纵坐标、虚警率为横坐标绘制曲线,曲线以下包含的面积越大,则表示算法检测性能越好.

    图4是对2种不同场景的红外图像序列运用6种算法检测得到的ROC曲线.由图4可知在相同的虚警率下,该算法对比其他算法实现了最高的检测概率,说明该算法比其他算法具有更好的目标检测性能.

    图4
                            不同场景下6种算法的ROC曲线(a)海天交接背景 (b)海面背景

    图4 不同场景下6种算法的ROC曲线(a)海天交接背景 (b)海面背景

    Fig.4 The ROC curves of six algorithms in different scenarios(a)Sea-sky background(b)Sea background

    此外,表1给出了三幅不同场景的红外图像经过6种不同算法处理后的红外图像的信杂比和运行时间结果用于定量化比较不同算法的性能.传统的几种方法由于要在原图增强目标,因此会对后续目标检测产生一定影响,而IPI和该算法是将可能的候选目标及背景进行分离后检测,检测结果失真较小,目标更容易被检测到.因此从表1中的SCR值可以明显看出,在不同场景下IPI与其他弱小目标检测算法相比信杂比提高1.8倍以上,而该算法与IPI相比信杂比提高1.1倍以上.

    表1 各种算法的检测指标值

    Table 1 Detection index values of various algorithms

    Index

    Method

    SCRComplexity time/s
    I1I2I3I1I2I3
    Top-hat1.624.945.790.0140.0320.018
    Max-median5.585.627.510.6992.6442.958
    TDLMS3.814.855.440.1580.2360.275
    LCM6.677.415.970.1820.5190.672
    IPI9.6310.3620.042.0399.95615.462
    本文算法15.5517.9324.921.0144.1265.351

    在算法实时性方面,由于海面背景的先验特征信息的融入以及ADMM算法的优化,本文算法较IPI算法而言运算速度更快,实时性更高.如表1所示,本文算法的实时性与IPI相比提高了120%.

  • 4 结论

    提出的红外图像弱小目标检测算法是将海面背景的先验特征信息引入到IPI模型中,将目标背景分离任务转化为一个加权核范数最小化的优化问题,并利用ADMM算法有效地解决了该优化问题.本文提出的算法不仅能够在边缘干扰较强的海空背景下达到检测红外弱小目标的目的,而且在实时性方面优于IPI模型.其中实验的主观效果以及客观评价结果均验证了该算法的检测准确性以及实时性.

    [2] HU Tun, ZHAO Jia-Jia, CAO Yuan, et al. Infrared small target detection Based on saliency and principle component analysis [J]. J. Infrared Millim. Waves(胡暾, 赵佳佳, 曹原, 等. 基于显著性及主成分分析的红外小目标检测. 红外与毫米波学报,2010,29(4):303-306.

    [3] Sun Zhaolei, Hui Bin, Qin Mofan, et al. Object detection method based on saliency measure for infrared radiation image [J].Infrared and Laser Engineering(孙照蕾, 惠斌, 秦莫凡,等. 红外图像显著目标检测算法. 红外与激光工程, 2015, 44(9):2633-2637.

    [4] LIU Jian-Lei. No-reference color image quality assessment based on local features [J]. Optics and Precision Engineering(刘建磊.结合局部特征的无参考彩色图像质量评价. 光学精密工程), 2016, 24(5):1176-1184.

    [5] GAO Chen-Qiang, MENG De-Yu, YANG Yi, et al. Infrared patch-image model for small target detection in a single image[J]. IEEE Transactions on Image Processing, 2013, 22(12):4996-5009.

    [6] XUN Jun, XIANG Jan-hua, LIANG Chang-hong, et al. Small target detection based on maximum background model in infrared images [J].Acta Photonica Sinica(徐军, 向健华, 粱昌洪. 最大化背景模型用于检测红外图像中的弱小目标.光子学报, 2002, 31(12):1483-1486.

    [7] HE Yu-Jie, LI Min, ZHANG Jin-Li, et al. Small infrared target detection based on low-rank and sparse representation[J]. Infrared Physics & Technology, 2015,68:98-109.

    [8] LIU Xin, ZHAO Guo-Ying, YAO Jia-Wen, et al. Background subtraction based on low-rank and structured sparse decomposition[J].IEEE Transactionson Image Processing, 2015, 24 (8): 25 02-2514.

    [9] WEI Yan-Tao,YOU Xin-Ge, LI Hong, et al. Multiscale patch-based contrast measure for small infrared target detection[J]. Pattern Recognition, 2016, 58(C):216-226.

    [10] RAHMANI M, ATIA G K, et al. Coherence pursuit: fast, simple, and robust principal component analysis[J]. IEEE Transactions on Signal Processing, 2017, 65(23):6260-6275.

    [11] ZHANG Hui, CAI Jian-Feng, CHENG Li-Zhi, et al. Strongly convex programming for exact matrix completion and robust principal component analysis[J]. Inverse Problems & Imaging, 2017, 6(2):357-372.

    [12] Dai Yi-Mian, Wu Yi-Quan, Song Yu, et al. Non-negative infrared patch-image model: Robust target-background separation via partial sum minimization of singular values[J]. Infrared Physics & Technology, 2017, 81:182-194.

    [13] Dai Yi-Mian, Wu Yi-Quan. Reweighted Infrared Patch-Tensor Model With Both Nonlocal and Local Priors for Single-Frame Small Target Detection[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2017, 10(8):3752-3767.

    [14] Erseghe T. Distributed Optimal Power Flow Using ADMM[J]. IEEE Transactions on Power Systems, 2014, 29(5):2370-2380.

    [15] Peng Y , Suo J , Dai Q , et al. Reweighted Low-Rank Matrix Recovery and its Application in Image Restoration[J]. IEEE Transactions on Cybernetics, 2014, 44(12):2418-2430.

  • References

    • 1

      ZHAO Jia-Jia, TANG Zheng-Yuan, YANG Jie,et al. Infrared small target detection based on image sparse representation[J]. J. Infrared Millim. Waves(赵佳佳, 唐峥远, 杨杰,等. 基于图像稀疏表示的红外小目标检测算法[J]. 红外与毫米波学报, 2011,30(2):156-162.

潘胜达

机 构:上海海事大学 信息工程学院,上海 201306

Affiliation:College of Information Engineering, Shanghai Maritime University, Shanghai 201306, China

邮 箱:sdpan@shmtu.edu.cn

作者简介:(Biography):潘胜达(1986-),男,讲师,博士,主要研究方向为遥感图像处理。Email:sdpan@shmtu.edu.cn

张素

机 构:上海海事大学 信息工程学院,上海 201306

Affiliation:College of Information Engineering, Shanghai Maritime University, Shanghai 201306, China

角 色:通讯作者

Role:Corresponding author

邮 箱:1207904890@qq.com

作者简介:E-mail: 1207904890@qq.com

赵明

机 构:上海海事大学 信息工程学院,上海 201306

Affiliation:College of Information Engineering, Shanghai Maritime University, Shanghai 201306, China

安博文

机 构:上海海事大学 信息工程学院,上海 201306

Affiliation:College of Information Engineering, Shanghai Maritime University, Shanghai 201306, China

/html/hwyhmbcn/2019086/alternativeImage/7fe8a303-b805-4cbb-8d44-38cc19315348-F001.png
/html/hwyhmbcn/2019086/alternativeImage/7fe8a303-b805-4cbb-8d44-38cc19315348-F002.png
/html/hwyhmbcn/2019086/alternativeImage/7fe8a303-b805-4cbb-8d44-38cc19315348-F005.png
/html/hwyhmbcn/2019086/alternativeImage/7fe8a303-b805-4cbb-8d44-38cc19315348-F006.png
/html/hwyhmbcn/2019086/alternativeImage/7fe8a303-b805-4cbb-8d44-38cc19315348-F007.png
/html/hwyhmbcn/2019086/alternativeImage/7fe8a303-b805-4cbb-8d44-38cc19315348-F008.png
/html/hwyhmbcn/2019086/alternativeImage/7fe8a303-b805-4cbb-8d44-38cc19315348-F009.png
/html/hwyhmbcn/2019086/alternativeImage/7fe8a303-b805-4cbb-8d44-38cc19315348-F003.png
/html/hwyhmbcn/2019086/alternativeImage/7fe8a303-b805-4cbb-8d44-38cc19315348-F004.png
/html/hwyhmbcn/2019086/alternativeImage/7fe8a303-b805-4cbb-8d44-38cc19315348-F010.png

Index

Method

SCRComplexity time/s
I1I2I3I1I2I3
Top-hat1.624.945.790.0140.0320.018
Max-median5.585.627.510.6992.6442.958
TDLMS3.814.855.440.1580.2360.275
LCM6.677.415.970.1820.5190.672
IPI9.6310.3620.042.0399.95615.462
本文算法15.5517.9324.921.0144.1265.351

图1 基于IPI模型的弱小目标检测方法流程

Fig. 1 Detection flow of dim and small target detection based on IPI model

图2 交替方向乘子法

Fig.2 The alternating direction multiplier method

图3 6种算法的结果以及各自的三维显示图

Fig.3 Results of the six algorithms and their respective three-dimensional display

图3 6种算法的结果以及各自的三维显示图

Fig.3 Results of the six algorithms and their respective three-dimensional display

图3 6种算法的结果以及各自的三维显示图

Fig.3 Results of the six algorithms and their respective three-dimensional display

图3 6种算法的结果以及各自的三维显示图

Fig.3 Results of the six algorithms and their respective three-dimensional display

图3 6种算法的结果以及各自的三维显示图

Fig.3 Results of the six algorithms and their respective three-dimensional display

图4 不同场景下6种算法的ROC曲线(a)海天交接背景 (b)海面背景

Fig.4 The ROC curves of six algorithms in different scenarios(a)Sea-sky background(b)Sea background

表1 各种算法的检测指标值

Table 1 Detection index values of various algorithms

image /

无注解

无注解

无注解

无注解

无注解

无注解

无注解

无注解

无注解

无注解

无注解

  • References

    • 1

      ZHAO Jia-Jia, TANG Zheng-Yuan, YANG Jie,et al. Infrared small target detection based on image sparse representation[J]. J. Infrared Millim. Waves(赵佳佳, 唐峥远, 杨杰,等. 基于图像稀疏表示的红外小目标检测算法[J]. 红外与毫米波学报, 2011,30(2):156-162.


  • 版权所有:《红外与毫米波学报》编辑部