基于红外热成像的在体呼吸监测方法

李晨曦; 司芳芳; 刘柏男; 闫苾萱; 刘蓉; 陈文亮; 高峰; LI Chen-Xi; SI Fang-Fang; LIU Bo-Nan; YAN Bi-Xuan; LIU Rong; CHEN Wen-Liang; GAO Feng

网刊加载中。。。

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

基于红外热成像的在体呼吸监测方法 PDF

- ORCID：
李晨曦 ^1,2
- ORCID：
司芳芳 ²
- ORCID：
刘柏男 ^1,2
- ORCID：
闫苾萱 ²
- ORCID：
刘蓉 ^1,2
- ORCID：
陈文亮 ^1,2
- ORCID：
高峰 ^1,2

1. 天津大学精密测试技术及仪器国家重点实验室，天津　300072； 2. 天津大学精密仪器与光电子工程学院，天津　300072

中图分类号： TN219

最近更新：2020-12-29

DOI：10.11972/j.issn.1001-9014.2020.06.019

摘要

人体红外辐射及温度特性与呼吸等生理活动密切相关。针对远程监测需要，提出了一种基于面部红外图像分析的在体呼吸监测方法。为了提高红外热成像中鼻孔区域识别及跟踪精度，研究了基于Harris角点法的提取方法，及基于光流场方法的特征跟踪识别方法；分析对比了不同环境中在体呼吸信号时频特征及统计参数。实验结果表明，本文提出的方法可以准确监测在体呼吸信号，分析呼吸模式变化，为红外热成像方法在临床医学的应用提供了参考。

关键词

红外热成像; 呼吸监测; 图像处理; 红外医学

引言

随着红外光学技术及器件的发展，红外热成像仪器灵敏度、信噪比、分辨率有了很大提高，成本降低，在临床医学中的应用也越来越广泛^［

1-2］。人体红外辐射及温度特性与生理状态密切相关，并随呼吸、血流、脉搏等动态生理活动产生相应变化^{［参考文献 3-5}3-5］。呼吸是维持人体新陈代谢的重要生理活动，正常成人呼吸频率在每分钟12-18次，新生儿一般在30-50次左右。一些急慢性疾病，如非典型肺炎、脑缺血、阻塞性睡眠呼吸暂停综合征等，会导致呼吸急促、缓慢、暂停、不规律节律等异常，如不及时干预，轻则带来并发症危险，重则直接危害患者生命^{［参考文献 6

百度学术}6］。目前常用的呼吸监测方法包括胸带式或腹带式传感器，通过检测胸腔或者腹腔起伏实现在体呼吸监测。这两种装置通常需要与被测者身体紧密接触，会在一定程度上干扰正常活动，测量结果也容易受到运动干扰。利用热电偶或者流量传感器测量鼻孔附近温度及气流变化，也可实现在体呼吸监测，但是传感器探头必须靠近口鼻区域，测量准确性容易受到测量距离等因素影响^{［参考文献 7

百度学术}7］。临床上一些传染性较强的疾病，如非典型肺炎等的诊断与治疗也对在体呼吸监测装置提出了更高的要求，能够实现大范围、远程、快速监测的装置与方法也成为在体呼吸信号监测的主要研究方向。

红外成像方法可以测量呼吸过程中鼻孔及周围组织温度变化，从而实现在体呼吸信号的快速、远程、实时监测。Abbas等人研究了鼻腔通气过程与其温度变化关系，利用红外成像方法，监测到新生儿口鼻区域吸气与呼气间温差约为0.3∼0.5 ℃，成功应用于新生儿重症监测^［

8］。Cho等人利用图像分割方法识别鼻孔位置，提取与呼吸相关图像区域，但其精度与稳健性容易受到成像对比度影响^{［参考文献 9

百度学术}9］。Mutlu等人分析了红外图像中鼻部像素点在呼吸过程中强度变化特征，提出了基于像素点分类的呼吸信号提取方法，提高检测准确度及稳健性^{［参考文献 10

百度学术}10］。上海交通大学胡梦涵等人，将近红外图像与远红外热成像结合，提高了口鼻区域识别与跟踪效率，采用两种窗宽的移动平均滤波器，重建出呼吸信号的波形，实现人体睡眠过程中的呼吸监测，并进一步分析比较了不同测量距离以及热成像图像分辨率对于呼吸信号监测结果的影响^{［参考文献 11-12}11-12］。以上研究结果表明，提高在体呼吸信号检测精度的关键在于准确获取鼻孔区域特征，跟踪并提取时序图像中的鼻孔区域，监测其在呼吸过程中温度变化。

本文在红外热成像技术基础上，研究面部红外图像中鼻孔区域识别与跟踪方法，提高在体呼吸信号监测准确度及稳健性，通过在体实验分析比较不同环境中呼吸信号的时频特征及统计参数变化。采用红外热成像仪器采集面部红外成像时序图像，设计图像预处理方法，提高图像对比度及信噪比。根据人脸红图像特征，研究基于Harris角点法的鼻孔区域特征点提取方法，在此基础上，研究基于Lucas-Kanade光流场方法的口鼻区域跟踪方法，提高时序图形中鼻孔区域识别与跟踪准确性，实现在体呼吸信号准确提取。设计在体实验，对不同环境中在体呼吸信号进行时频及统计特征分析，实现在体呼吸模式评价。结果表明，本文提出的方法可以准确监测在体呼吸信号频率、幅度及模式变化，为红外热成像方法在临床医学的应用提供了参考。

1 基于红外图像的呼吸信号监测方法

1.1　红外成像仪器与实验

红外成像装置采用360×240像素氧化钒阵列，检测波段范围7.5∼13 μm，测温范围-20∼800 ℃，热灵敏度可达0.02 ℃。系统图像采集速率最快可达50 fps。根据人呼吸速率，实验中图像采集速率为20 fps。成像系统采用焦距为0.2 m广角红外锗镜头，具有较高的红外透过率，可实现较大视场角和空间范围成像。

受试者健康状态良好，实验过程中面对红外成像仪器，在一定时间内，连续采集时红外图像，同时采用人工计数方法，记录该时间段内呼吸次数，作为参考值。为了验证本文提出的在体呼吸信号监测方法，设计了对比实验，分别记录同一受试者在正常环境及存在二手烟的环境中的呼吸信号，采用时频信号处理及统计方法，分析对比两种环境中呼吸模式变化。

1.2　是算法流程

基于面部红外热成像的在体呼吸信号监测方法的主要步骤包括，红外图像预处理，鼻孔区域识别与跟踪，呼吸信号提取，算法流程如图1所示。

图1 是基于红外热成像的呼吸信号监测方法流程图

Fig.1 是The main steps for respiration monitoring with infrared thermal imaging

首先，对面部红外图像进行预处理，针对人面部红外图像对比度差、分辨率低的特点，首先采用灰度直方图均衡化，调整图像的灰阶分布更加均衡，提高图像的对比度。然后利用高通滤波方法，增强特征边缘高频分量，从而达到图像锐化的目的，进一步利用形态学腐蚀处理强化鼻孔区域特征。根据机器视觉理论，图像平面的物体运动与其灰度分布密切相关，因此可以将连续图像中的物体运动转化为光流场变化。其中，光流场为二维矢量场，代表了像素点运动产生的瞬时速度场。基于Harris角点法的特征提取与基于Lucas-Kanade光流场方法的目标跟踪方法相结合，可以有效提高时序图像中鼻孔区域识别与跟踪准确性。在本文研究中，首先对鼻孔区域进行Harris特征角点检测，为时序图像中目标区域跟踪以及呼吸信号监测提供定位特征，然后在相邻帧之间目标物体连续运动的前提下，根据时序图像的像素灰度变化，计算相邻帧图像相关性，实现目标物特征提取与跟踪。其优势在于，能够在场景信息未知的情况下准确追踪运动目标体，并且不受背景变化影响。

1.3　基于Harris角点法的红外图像中鼻孔特征识别

受试者面部红外图像如图1（a）所示，鼻部区域温度较低，经过预处理后，在红外图像中的边缘轮廓特征也较为明显，因此可用角点法实现其特征提取。角点表示图像中目标区域轮廓线连接点，在保留目标特征的同时，可以有效减少信息量，提高运算效率^［

13］。Harris角点检测算法采用固定窗口在图像任意方向上滑动，比较滑动前后窗口中的像素灰度变化，如果在任意方向上的滑动，都有着较大灰度变化，则该点为角点，可表征目标区域轮廓。具体计算步骤如下：

首先，计算图像中像素点I（x，y）在x和y方向的梯度I_x、I_y。然后，对方向梯度进行乘积得到I_x²=I_x•I_x，I_y²=I_y•I_y， I_xy=I_x•I_y。使用高斯函数w（x，y）对I_x²、I_y²和I_xy进行卷积运算^［

13］，构建结构张量矩阵M

M = \sum_{x, y} w (x, y) [\begin{matrix} I_{x}^{2} & I_{x y}^{} \\ I_{x y}^{} & I_{y}^{2} \end{matrix}]

，

（1）

定义Harris角点相应函数R^［

13］：

R = d e t M - α {(t r a c e M)}^{2}

，

（2）

其中α=0.05，设定固定窗宽范围为5×5，在此范围内，响应函数R小于阈值则置零。通过遍历图像所有像素，可以得到该区域内所有角点。

图2 用于呼吸信号提取的面部红外热成像（a）面部红外成像结果，（b）受试者呼吸过程鼻孔区域成像及特征提取结果，（c）受试者呼吸过程鼻孔区域成像及特征提取结果

Fig.2 IR thermography for monitoring respiration （a） the features of nostril with exhalation, （c） the features of nostril with inhalation

利用Harris角点法提取不同角度，呼气与吸气两个过程的鼻孔区域特征，结果如图1（b-c）所示。结果表明，计算得到的角点可准确定位鼻孔区域轮廓特征。该方法采用微分算子计算角点附近区域灰度二阶矩，结果不受图像亮度与对比度影响，具有旋转不变性和尺度不变性。这也保证了鼻孔区域识别与提取结果不受图像灰度变化或者人脸方位、角度改变影响，具有较高的识别准确度与稳健性。

1.4　基于Lucas-Kanade光流法的鼻孔区域动态跟踪与呼吸信号提取

光流场包含了运动目标信息，在对于运动场景、目标特征没有先验知识，目标运动难以预测的情况下，可以用光流法构建稠密光流场，并且使用金字塔算法提高对于不同幅度运动的检测精度。研究中将鼻孔区域角点其作为跟踪的目标点，采用基于Lucas-Kanade光流法可追踪时序图像中鼻孔区域位置^［

14］，算法原理及过程如下：

假设第一帧图像中目标位于 $(x, y)$ 处像素点，在t时刻灰度为 $I (x, y, t)$ ；如果在下一帧图像，也就是 $t + Δ t$ 时，目标位移至 $(x + Δ x, y + Δ y)$ ，其灰度值相应变为 $I (x + Δ x, y + Δ y, t + Δ t)$ 。假设在移动过程中目标灰度值不变，满足如下条件^［

14］：

\frac{d I (x, y, t)}{d t} = 0

（3）

定义u和ν分别为光流矢量沿x和y方向的两个分量^［

14］：

u = \frac{d x}{d t}

，

v = \frac{d y}{d t}

，

（4）

将 $I (x, y, t)$ 用泰勒公式展开，得到^［

14］：

\begin{matrix} I (x + Δ x, y + Δ y, t + Δ t) = I (x, y, t) + \frac{\partial I}{\partial x} Δ x + \\ \frac{\partial I}{\partial y} Δ y + \frac{\partial I}{\partial t} Δ t + ε \end{matrix}

（5）

忽略二阶以上的高次项，在图像采集速率远高于目标运动速度的前提下，Δt→0，则可进一步简化为：

I_{x} u + I_{y} v + I_{t} = 0

，

（6）

其中，u和ν的在一定约束条件下可以得唯一解^［

14］。

本文研究中采用Lucas-Kanade方法进行局部约束。其原则是，假设以p点为中心的小区域内各点的光流相等，对区域内的不同点赋予不同权重值，则其计算过程可以简化为线性方程求解。在Lucas-Kanade算法中，选择约束区域为3×3大小，得到约束方程^［

14］：

[\begin{matrix} I_{x 1} \\ I_{x 2} \\ ⋮ \\ I_{x 9} \end{matrix} \begin{matrix} I_{y 1} \\ I_{y 2} \\ ⋮ \\ I_{y 9} \end{matrix}] [\begin{matrix} u \\ ν \end{matrix}] = [\begin{matrix} - I_{t 1} \\ - I_{t 2} \\ ⋮ \\ - I_{t 9} \end{matrix}]

（7）

可表示为矩阵形式： $A \vec{υ} = - b$ 。采用最小二乘法可以求解得到光流矢量，计算式为^［

14］：

\vec{υ} = (A^{T} {A)}^{- 1} A^{T} (- b)

（8）

为了提高光流法效率，研究中结合金字塔分层与Lucas-Kanade方法，采用了由粗到细的分层策略将面部红外图像分解成不同等级，将粗尺度下的结果作为下一尺度的初始值，在不同的分辨率上对图像序列进行计算。利用该方法，可以准确识别并追踪每一帧红外图像中的鼻孔区域，具有较高的算法效率。在此基础上，对面部红外图像中鼻孔区域像素点灰度值进行平均，就可以得到在体呼吸信号。

2 实验结果与讨论

2.1　基于红外图像的在体呼吸信号监测结果

本文研究中分别监测得到健康个体在正常环境，及存在二手烟扰动的环境中的呼吸信号，并对其进行傅里叶变换，分析其频谱特征，结果如图3所示。图3（a）中呼吸信号时间序列表明，正常生理状态下呼吸性信号较为平稳，呼吸深度与频率变化不大。而在二手烟环境中，呼吸频率变快，并且幅度不平稳。由于环境中二手烟易扩散，在受试者受到较大浓度二手烟影响的时间段内（对应图中2∼12 s以及30∼40 s），呼吸明显加快，并且产生呼吸急促与通气不连续的现象。而在二手烟扩散浓度较低的时间段内（如15∼25 s），呼吸信号较为稳定，与正常环境中的呼吸模式较为相似，但速率较快。为了验证本文方法的准确性，在实验中分别还采用胸带式呼吸传感器进行了同步信号采集，在正常生理状态下，对比了人工计数，胸带式传感以及本文方法，基本一致。而在二手烟环境中，由于呼吸深度等发生变化，胸带式传感器的计数结果较差，基于红外热图像的监测结果与受试者感觉及人工计数结果吻合。这说明本文所研究的基于红外成像的呼吸信号监测方法可以准确捕捉呼吸信号动态变化，具有较好的测量精度。

图3 正常和二手烟环境中呼吸信号监测结果（a）呼吸信号时间序列，（b）呼吸信号频谱

Fig.3 Illustration of respiration signal of subject in normal and second-hand smoke environment （a） time series respiration signal, （b） the frequency spectrum of respiration signal

呼吸信号频谱分析结果如图3（b）所示，正常呼吸信号频率集中在0.17∼0.37 Hz范围内，而在二手烟环境中，呼吸信号频率明显增大，集中在0.25∼0.5 Hz范围内，中心频率变高，范围展宽。分析信号强度也可得到，正常情况下呼吸信号缓慢且较深，而在二手烟环境中，呼吸容易受到烟尘等抑制，深度及节律都会产生一定变化。实验结果表明，本文的方法可以比较准确提取不同生理条件下的呼吸信号频率及幅度特征，在呼吸模式监测方面应用效果较好。

2.2　在体呼吸信号统计特征比较

在体呼吸性信号变化不仅表现为时频特征不同，也与统计参数变化密切相关。样本熵（Sample Entropy）就是一种常用的衡量生理信号复杂程度的统计指标，通过度量信号中产生新模式的概率大小来衡量生理信号时间序列复杂性，在病理状态诊断等方面应用广泛^［

15］。样本熵的值越低，序列自我相似性就越高，生理状态越平稳；样本熵的值越大，生理活动复杂度越高，生理状态趋于不稳定。本文研究中，获取的呼吸信号时间序列为X（t），其样本熵计算过程为：

构造m维向量X_m（1）， X_m（2）…X_m（N-m）.其中，X_m（i）=［ x（i，）， x（i+1）， … x（i+m-1）］， i=1~N-m。X_m（i）和X_m（j）之间的距离计算公式为^［

15］：

d [X_{m} (i), X_{m} (j)] = m a x (| x (i + k) - x (j + k) |)

，

（9）

其中，k=0~m-1； i，j=1~N-m，i≠j。对于给定阈值r，对于每个i≤N-m的值，统计矢量之间距离d［X_m（i）， X_m（j）］小于r的数目及此数目与距离总数N-m-1的比值，记作^［

15］：

B_{m}^{r} (i) = N^{m} (i) / (N - m - 1)

（10）

求其对所有i的平均值^［

15］：

B_{m}^{r} (r) = {(N - m)}^{- 1} • \sum_{}^{N - m} B_{m}^{r} (i)

（11）

增加维数为 $m + 1$ ，得到B_r^m⁺¹和B_r^m⁺¹（r），则时间序列样本熵为^［

15］：

S a m p E n (m, r) = \underset{N \to \infty}{l i m} [- l n \frac{B^{m + 1} (r)}{B^{m} (r)}]

（12）

本文研究中，针对呼吸信号特征，选择重构维数为m=2，r=0.01，计算的得到不同环境中呼吸样本熵如图4所示。

图4 正常和二手烟环境中呼吸信号样本熵对比结果

Fig.4 Comparison of respiratory signals’ sample entropy with subject in normal and second-hand smoke environments

样本熵计算结果表明，正常生理状态下，呼吸信号较为平稳，样本熵较低并且波动较小。而在吸入二手烟后（对应2∼12 s以及30∼40 s时间段内），呼吸信号样本熵值明显增加，并且变化较大。根据样本熵定义，这也说明在二手烟影响下，呼吸节律以及模式发生较大的变化，不仅呼吸频率增加，通气模式也发生变化。在临床医学中，正常生理情况下的呼吸频率及幅度较为稳定，异常呼吸主要表现为潮式呼吸，间断呼吸等。其中，潮式呼吸为周期性的呼吸频率与幅度变化，常与中枢神经系统疾病相关。间断呼吸表现为节律呼吸和呼吸暂停交替出现，常见于颅内病变、呼吸中枢衰竭等病人。利用本文的所研究的方法，可以测量呼吸次数、频率与幅度特征，利用信号时频分析与统计分析方法，可以进一步判断生理过程是否正常。根据正常环境及二手烟环境中呼吸信号测量结果对比可知，本文所研究的基于红外图像的呼吸信号监测与统计分析方法，可以有效捕捉在体呼吸模式变化，这也为临床医学应用中不同生理过程呼吸特征与模式分析研究提供了参考。

3 结论

红外成像方法在医学研究以及生理参数检测方面具有较大的应用潜力，本文针对在体呼吸信号检测需要，提出了一种基于Harris角点检测与Lucas-Kanade光流场算法相结合的图像处理方法，对面部红外时序图像中鼻孔区域提取与追踪，实现了在体呼吸信号准确监测。利用频谱分析与统计方法分析对比了不同环境中的在体呼吸信号变化。结果表明，本文所研究的方法减少人体运动及鼻孔形变影响，提高在体呼吸信号提取准确度及效率，可以准确捕捉在体呼吸信号及呼吸模式变化，也为红外热成像方法在临床医学的应用提供了参考。

References

Lahiri B B， Bagavathiappan S， Jayakumar T， et. al. Medical applications of infrared thermography： A review ［J］. Infrared Phys Technol， 2012， 55（4）：221-235. [百度学术]

YANG Xuan， WANG Yi-Kun， HAN Gui-Cheng， et al. Denoised and wide swath thermal imaging technology based on low rank matrix approximation［J］.J. Infrared Millim.Waves杨暄，王义坤，韩贵丞，等。基于低秩矩阵近似的低噪宽幅热红外成像技术.红外与毫米波学报 2018，37（3）：296-301. [百度学术]

Pereira C B， Czaplik M， Blanik N ， et al. Contact-free monitoring of circulation and perfusion dynamics based on the analysis of thermal imagery ［J］. Biomed Opt Express， 2014， 5（4）：1075-1088. [百度学术]

Hoffer O A， Ben-David M A， Katz E， et al. Thermal imaging as a tool for evaluating tumor treatment efficacy ［J］. Journal of Biomedical Optics， 2018， 23（5）：058001. [百度学术]

Kenny G P， Sigal J R， McGinn R. Body temperature regulation in diabetes ［J］. Temperature. 2016， 3（1）：119-145. [百度学术]

Várady P， Micsik T， Benedek S， et al. A novel method for the detection of apnea and hypopnea events in respiration signals ［J］. IEEE Trans Biomed Eng， 2002， 49（9）：936-942. [百度学术]

Mathew J， Semenova Y， Farrell G. A miniature optical breathing sensor ［J］. Biomed Opt Express， 2012， 3（12）：3325. [百度学术]

Abbas K A， Heimann K， Jergus K， et al. Neonatal non-contact respiratory monitoring based on real-time infrared thermography ［J］. Biomed Eng Online， 2011， 10：1-17. [百度学术]

Cho Y， Julier S J， Marquardt N， et al. Robust tracking of respiratory rate in high- dynamic range scenes using mobile thermal imaging ［J］. Biomed Opt Express. 2012， 20（4480）：284-300. [百度学术]

Mutlu K， Rabell J， Martin P， et al. IR thermography-based monitoring of respiration phase without image segmentation ［J］. J. Neurosci Methods. 2018， 301：1-8. [百度学术]

Hu M H， Zhai G T， Li D， et al. Influence of image resolution on the performance of remote breathing rate measurement using thermal imaging technique ［J］. Infrared Phys. Technol， 2018， 93：63-69. [百度学术]

Hu M H， Zhai G T， Li D， et al. Combination of near-infrared and thermal imaging techniques for the remote and simultaneous measurements of breathing and heart rates under sleep situation ［J］. PLoS One， 2018， 13（1）：1-14. [百度学术]

Kim K S， Kim G Y， Choi H I. Automatic face detection using feature tracker［C］// International Conference on Convergence & Hybrid Information Technology. IEEE， 2008. [百度学术]

Choia J G， Kim S D. Multistage segmentation of optical flow field［J］. Signal Processing， 1996， 54（2）：109-118. [百度学术]

Al-Angari H M， Sahakian A V. Use of sample entropy approach to study heart rate variability in obstructive sleep apnea syndrome［J］. IEEE Transactions on Biomedical Engineering， 2007， 54（10）：1900-1904. [百度学术]

您是第12692525 位访问者

主管单位：中国科学院

主办单位：中国科学院上海技术物理研究所，中国光学学会

地址：上海市玉田路500号电话：021-25051553

51La

首页

学报简介

编委会

征稿简则

版权声明

开放获取

出版道德声明

相关下载

联系我们

常见问题

English Version

基于红外热成像的在体呼吸监测方法 PDF

摘要

关键词

引言