摘要
分焦平面红外偏振探测器输出的是红外偏振马赛克图像,传统处理流程需要进行去马赛克恢复出四个偏振通道的完整图像,然后再实现后续的任务。然而,去马赛克过程会引入误差,而且计算复杂度高、耗时长。针对如何直接在红外偏振马赛克图像上进行目标检测的问题,本文提出了一种偏振权重局部对比度的目标检测方法。首先分析了目标与背景的偏振特性差异;然后设计了红外偏振马赛克图像的斯托克斯矢量计算卷积核;在此基础上提出了基于偏振权重的偏振度显著图,在偏振度显著图上利用自适应阈值操作实现目标检测。此外,利用边缘检测方法进一步优化目标检测结果,得到更加完整的检测结果。最后,使用采集的红外偏振马赛克数据集验证了所提出的目标检测算法在复杂背景以及恶劣天气影响下的鲁棒性。
在复杂背景以及目标与背景达到热平衡后,传统的红外成像技术将难以区分目标与背景,使得后续的检测、跟踪等任务难以实现。红外偏振成像技术不仅可以获取目标与背景的红外辐射强度信息,还能够得到目标与背景的偏振信息。偏振信息能表示目标的理化特性,即使处于复杂背景或当目标与背景达到热平衡后依然能体现出目标与背景在偏振信息上的差异,提高目标与背景之间的对比度。随着分焦平面红外偏振探测器的发展,使得红外偏振视频获取成为现实。分焦平面红外偏振探测器输出的是红外偏振马赛克图像,传统处理流程需要进行去马赛克,该过程通常包含先验引入、插值操作等,会导致去马赛克过程计算复杂度高、耗时长,而且会引入误
基于红外偏振图像的目标检测方法可以分为基于单偏振参数的方法和基于多参数融合的方法。基于单偏振参数的方法是利用斯托克斯矢量、偏振度等偏振参数来区分目标与背景,这类方法的主要应用场景包括:地雷探
分焦平面红外偏振相机是将检偏器件通过微纳加工覆盖在焦平面上,焦平面上每个像元对应一个微偏振片。由微纳光栅构成的微偏振片阵列中每2×2个像元为一组,分别测量0°、45°、90°和 135°方向的偏振分
名称 | 技术指标 |
---|---|
分辨率 | 640×512 |
像元中心距 | 17 μm |
响应波段 | 8~14 μm |
偏振方向 | 0°,45°,90°,135° |
帧频 | 50 Hz |
探测器类型 | 非制冷型 |
红外偏振焦平面GWPL的2×2像元组的微偏振片排布模式如

图1 微偏振片阵列和红外偏振马赛克图
Fig. 1 Micro polarizer array and infrared polarization mosaic image
光波的任意偏振态可以由斯托克斯矢量来表示,斯托克斯矢量的表达式如下:
, | (1) |
其中,、、、分别表示偏振方向为0°、45°、90°、135°的图像强度;、分别表示右旋、左旋偏振图像的强度;表示图像的总强度;为0°偏振图像与90°偏振图像的强度差,表示水平和垂直方向上的线偏振光分量;为45°偏振图像与135°偏振图像的强度差,表示45°或-45°方向上的线偏振光分量;为左旋、右旋偏振图像的强度差,表示圆偏振光分量;由于对地观测过程中,圆偏振光分量强度较小,可近似忽略为零。
基于斯托克斯矢量,可以计算出线偏振度(Degree of linear polarization,Dolp)和偏振角(Angle of polarization,Aop):
, | (2) |
. | (3) |
为分析目标和背景的偏振特性差异,以车辆为目标建立包含30组典型场景的红外偏振马赛克视频数据集,数据集合计2987帧视频图像。本数据集是在不同天气、不同时间下采集的数据,例如晴天、雨天、雾天、扬沙以及上午、下午、夜晚。
在本文所采集的数据中,背景的场景中物体类别较多,有些背景物体的偏振度特性会与车辆相近,导致检测算法难以较好地实现。但是基于对数据的分析以及相关的偏振应用的研究,在偏振角图像中道路的偏振角特性是明显区别于其他背景的。

(a) 红外偏振马赛克图像

(b) 偏振角图像
图2 红外偏振马赛克图像与偏振角图像
Fig. 2 Infrared polarization mosaic image and angle of polarization image
基于红外偏振马赛克视频数据集,挑选了不同天气和场景的数据对车辆和道路进行偏振度的统计,统计结果如

图3 道路和车辆车窗的归一化偏振度分布
Fig. 3 Normalized degree of polarization distribution of road and vehicle windows
为便于在红外偏振马赛克上提取特征,本文设计了计算红外偏振马赛克图像的斯托克斯矢量的卷积核,可以直接在马赛克图上进行偏振参数的解算,以中心像素为0°的通道为例进行说明。

图4 中心像素为0°通道的3×3邻域
Fig. 4 The 3×3 neighborhood of the center pixel with 0° channel
在红外偏振的强度计算中,0°和90°的强度和等于45°和135°的强度和,数学表达式如下:
. | (4) |
利用
. | (5) |
参数为0°和90°的像素值之差,但在3×3邻域内还存在45°和135°通道,因此利用
. | (6) |
根据
. | (7) |
参数为45°和135°的像素值之差,由于中心像素为0°通道,不存在45°通道的真值,因此为了尽量减少估计值的引入,只使用3×3邻域内的45°通道和135°通道,因此中心像素为0°通道的3×3邻域求取参数的卷积核为:
. | (8) |
根据上面设计求取斯托克斯的卷积核,可以得到红外偏振马赛克图像中所有中心像素为0°通道所对应的斯托克斯矢量,表达式如下:
, | (9) |
其中,为红外偏振马赛克图像。中心像素为45°、90°和135°角度通道的3×3邻域卷积核设计方法与上述的方法相同,并且与中心像素为0°通道的3×3邻域有相似的规律。45°、90°和135°通道的参数的卷积核与0°通道的卷积核关系表达式如下:
. | (10) |
45°、90°和135°通道的参数的卷积核与0°通道的卷积核关系表达式如下:
. | (11) |
45°、90°和135°通道的参数的卷积核与0°通道的卷积核关系表达式如下:
. | (12) |
上述斯托克斯计算方式不需要去马赛克的过程,可以大大减少运算时间,提高了后续检测任务的速度。
根据目标与背景的偏振特性分析可知,车辆车窗的偏振度与道路具有明显的差异,因此本文利用偏振度信息来对车辆目标进行检测。局部对比度信
偏振度显著图是通过局部对比度计算来得到的。局部对比度的计算是通过滑窗操作来增强滑窗中心的目标区域。如

图5 滑窗及偏振权重局部增强
Fig. 5 Sliding window and polarization-weighted local enhancement
在每个滑窗区域中,9个区域分别记为。中心区域中偏振度最大值为:
, | (13) |
其中,表示滑窗区域的中心区域的偏振度最大值,表示滑窗区域的中心区域的每个像素的偏振度值。
滑窗区域中每个区域的偏振度平均值定义如下:
, | (14) |
其中,表示滑窗区域中区域的每个像素的偏振度值,表示每个区域中的像素总数。
为了对目标区域进一步增强,引入中心目标区域与局部背景区域的偏振度差值作为局部对比度的权重。若中心区域与背景区域的偏振度差值较大,则中心区域为目标的可能性较大,所以权重也较大;反之,若中心区域与背景区域的偏振度差值较小,则中心区域为背景的可能性较大,所以权重也较小。
定义中心区域的偏振度与背景区域偏振度的差值作为局部对比度的权重,该权重表达式如下:
. | (15) |
对偏振权重进行归一化并求取均值得到归一化后的偏振权重,表达式如下:
, | (16) |
其中,和分别表示
因此,引入偏振权重的滑窗区域的偏振度局部显著图为:
. | (17) |
对整个图像进行遍历之后,得到整个图像的偏振度显著图,通过显著图可以快速关注到较为显著的目标。
偏振度显著图中的车辆目标较为显著,而背景得到了较好的抑制。因此,利用阈值操作可以从偏振度显著图中提取出要检测的车辆目标。本文利用自适应阈值操作来对目标与背景进行分割,偏振度显著图的阈值定义如下:
, | (18) |
其中,表示偏振度显著图的平均值,表示偏振度显著图的标准差,为可调节的常数参数。当值大于阈值时,该像素为目标,反之则为背景。
为了得到更加完整的车辆目标,本文引入边缘检测来对检测结果进行进一步地优化,得到更加完整的车辆目标检测结果。首先对道路上的目标进行边缘检测,然后利用形态学操作对边缘进行闭合,得到一些闭合的边缘检测结果,这些检测结果包含车辆目标以及非车辆目标。利用前面的检测结果作为引导,将边缘检测的结果与局部对比度检测的结果相结合,去除边缘检测结果中的非车辆目标,得到更加完整的车辆目标检测结果。提出的偏振权重局部对比度目标检测算法的基本流程如
算法:偏振权重局部对比度目标检测算法 |
输入:红外偏振马赛克图像 输出:目标检测结果 步骤1:利用公式(5)、(7)、(8)、(10)、(11)和(12)对红外偏振马赛克图像进行卷积,求出红外偏振马赛克图像的斯托克斯矢量以及偏振度、偏振角参数,利用偏振角参数对背景进行初步的去除; 步骤2:利用公式(16)计算偏振权重,并利用公式(17)得到基于偏振权重的偏振度显著图; 步骤3:在偏振度显著图上利用自适应阈值公式(18)对目标区域进行提取,得到偏振权重局部对比度方法的检测结果; 步骤4:对道路上的目标进行边缘检测,并利用形态学操作得到边缘检测的结果,以步骤3中的检测结果为引导,将二者的检测结果相结合,得到最终的目标检测结果。 |
整个目标检测算法流程图如

图6 检测算法流程图
Fig. 6 Flow chart of detection algorithm
本实验利用红外偏振马赛克车辆数据集对算法进行测试。为了验证本文算法的检测效果,将本文的检测结果与HBMLCM算
本文在六组不同场景下对算法进行了测试,六组场景如
, | (19) |
, | (20) |
其中,表示算法处理后的显著图的信噪比,表示原始图像的信噪比,、分别表示原始图像和算法处理后的显著图的标准差。由公式可知,SNRG越大,表示目标区域相比原始图像被增强得越好;BSF越大,表示背景区域被抑制得越好。

图7 不同方法的显著图
Fig. 7 Saliency maps of different methods
如
方法 | 场景一 | 场景二 | 场景三 | 场景四 | 场景五 | 场景六 | ||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
SNRG | BSF | SNRG | BSF | SNRG | BSF | SNRG | BSF | SNRG | BSF | SNRG | BSF | |
本文方法 | 1.327 | 4.701 | 3.017 | 4.283 | 1.705 | 3.805 | 2.495 | 3.808 | 2.034 | 3.872 | 2.298 | 3.572 |
HBMLCM方法 | 0.913 | 0.628 | 2.539 | 0.646 | 2.695 | 0.649 | 3.509 | 0.677 | 2.316 | 0.647 | 2.614 | 0.607 |
RLCM方法 | 0.207 | 12.391 | 0.057 | 9.597 | 0.091 | 10.028 | 0.083 | 18.427 | 0 | 13.808 | 0.002 | 13.228 |
WSLCM方法 | 0.867 | 0.363 | 2.358 | 0.565 | 1.056 | 0.759 | 1.786 | 1.205 | 1.568 | 0.67 | 1.576 | 0.563 |
本文的方法是在基于偏振角信息的道路检测上做进一步处理,去除了复杂的背景,有利于车辆目标检测的实现。
然后,对本文检测算法的性能进行比较分析。为了验证本文算法的检测性能,本文实验所采用的检测性能的定量评价指标为检测率和虚警率,定义如下:
, | (21) |
, | (22) |
其中,表示正确检测出的目标数量,表示真实目标的数量,表示错误检测出的目标数量,表示所有检测出的目标数量。
如
方法 | 场景一 | 场景二 | 场景三 | 场景四 | 场景五 | 场景六 | ||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
本文方法 | 100 | 14.2 | 50 | 0 | 80 | 0 | 40 | 33.3 | 100 | 0 | 100 | 0 |
本文方法与其他方法的检测结果如

图8 不同方法的检测结果
Fig. 8 Detection results of different methods
总的来说,六组场景背景都相对较复杂,背景的红外强度与车辆自身的红外强度相近,有的场景背景红外强度甚至高于车辆目标,单纯使用红外强度信息无法对车辆目标实现检测。而偏振度可以很好地区分目标和背景,因此本文基于偏振权重的局部对比度检测方法可以很好地去除部分背景,抑制背景的影响,突出要检测的目标,能够对车辆目标实现精确地检测。
本文针对直接利用红外偏振马赛克图像进行目标检测的问题,提出了一种基于偏振权重的局部对比度方法。首先对车辆车窗、道路和背景的偏振特性进行统计与分析,然后设计了红外偏振马赛克图像斯托克斯矢量计算的卷积核,基于目标与背景偏振特性的分析结果,利用偏振度信息对图像进行局部对比度计算,并且在偏振度局部对比度中引入了偏振权重,得到偏振度基于偏振权重的偏振度显著图。在偏振度显著图上通过自适应阈值操作分割车辆目标与背景,并利用边缘检测方法和形态学操作优化检测结果。实验结果表明,本文所提出的方法在复杂背景以及目标与背景红外辐射强度相近场景下,对车辆目标检测具有较高的检测精度。
References
Qiao Xinbo, Chen Lulu, Zhao Yongqiang. Polarization Gradient Histogram for Object Tracking in Infrared Polarization Imaging: A Feature Extraction Method for Polarization Mosaic Image[C]. In 2021 10th International Conference on Computing and Pattern Recognition (ICCPR 2021). Association for Computing Machinery, New York, NY, USA, 2021: 224-230. [百度学术]
Forssell Goran. Test and analysis of the detectability of personnel mines in a realistic minefield by polarization in the infrared LW region[C]. Defense and Security. International Society for Optics and Photonics, 2004: 187-195. [百度学术]
Forssell Goran. Passive IR polarization measurements applied to covered surface landmines[C]. Aero Sense 2003. International Society for Optics and Photonics, 2003: 547-557. [百度学术]
Cremer Frank, Wim De Jong, Klamer Schutte. Infrared polarization measurements and modelling applied to surface laid anti-personell landmines[J]. Optical Engineering, 2002, 41(5):1021-1032. [百度学术]
Aron Yoram, Gronau Yuval. Polarization in the LWIR: a method to improve target acquisition [J]. Proceedings of SPIE, 2005, 5783(1): 653-661. [百度学术]
Bradley Ratliff, Daniel LeMaster, Robert Mack, et al. Detection and tracking of RC model aircraft in LWIR microgrid polarimeter data[J]. Proceedings of SPIE-The International Society for Optical Engineering, 2011, 8160:25-31. [百度学术]
Firooz Sadjadi, Cornell Chun. Application of a passive polarimetric infrared sensor in improved detection and classification of targets[J]. International journal of infrared and millimeter waves, 1998, 19(11): 1541-1559. [百度学术]
João Romano, Dalton Rosario, James McCarthy. Day/night polarimetric anomaly detection using SPICE imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2012, 50(12): 5014-5023. [百度学术]
GONG Jian, LYU Jun-wei, LIU Liang, et al. Ship Target Detection Based on Infrared Polarization Image[J]. Spectroscopy and Spectral Analysis, 2020, 40(02):586-594. [百度学术]
宫剑, 吕俊伟, 刘亮, 等.红外偏振图像的舰船目标检测. 光谱学与光谱分析,2020, 40(02):586-594. [百度学术]
Li Xiaoming, Huang Qinchao. Target Detection for Infrared Polarization Image in the Background of Desert[C]. 2017 IEEE 9th International Conference on Communication Software and Networks (ICCSN), 2017:1147-1151. [百度学术]
Scott Tyo. Hybrid division of aperture/division of a focal-plane polarimeter for real-time polarization imagery without an instantaneous field-of-view error[J]. Optics Letters, 2006, 31(20):2984-2986. [百度学术]
Li Ning, Zhao Yongqiang, Pan Quan, et al. Full-Time Monocular Road Detection Using Zero-Distribution Prior of Angle of Polarization[C]. European Conference on Computer Vision. Springer, Cham, 2020: 457-473. [百度学术]
Han Jinhui, Ma Yong, Zhou Bo, et al. A robust infrared small target detection algorithm based on human visual system[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(12):2168-2172. [百度学术]
Shi Yafei, Wei Yantao, Yao Huang, et al. High-Boost-Based Multiscale Local Contrast Measure For Infrared Small Target Detection[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(1): 33-37. [百度学术]
Han Jinhui, Saed Moradi, Iman Faramarzi, et al. Infrared Small Target Detection Based on the Weighted Strengthened Local Contrast Measure[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 18(9): 1670-1674. [百度学术]
Han Jinhui, Liang Kun, Zhou Bo, et al. Infrared small target detection utilizing the multiscale relative local contrast measure[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(4):612-616. [百度学术]
Jiang Guoqing, Wan Lanjun. Detection of dim and small infrared targets based on the most appropriate contrast saliency analysis[J]. Infrared and Laser Engineering, 2021, 50(04):265-272. [百度学术]
蒋国清, 万烂军. 基于最恰对比度显著性分析的红外弱小目标检测方法. 红外与激光工程, 2021, 50(04):265-272. [百度学术]
Zhang Shifeng,Huang Xinhan,Wang Min. Algorithm of infrared background suppression and small target detection[J]. Journal of Image and Graphics, 2016, 21(8):1039-1047. [百度学术]
张世锋, 黄心汉, 王敏. 红外背景抑制与小目标检测算法. 中国图象图形学报, 2016, 21(8):1039-1047. 10.11834/jig.20160808 [百度学术]