论文部分内容阅读
【摘要】为提高通过分析视频或图像中人的面部信息判断其生理及心理表征的准确性和可靠性，以Olivetti Faces 人脸数据库中人脸数据为数据源，利用红外热成像对温度细微变化的感知以及卷积神经网络算法来对测谎过程中的视频和图像进行分析，通过分析提取参与测试者的生理表征参数，进而做出正确判定。实验结果表明：基于红外热成像和卷积神经网络的生理表征分析方法提高了测试分析的精确度。
【关键词】视频图像;红外热成像技术;卷积神经网络;生理表征
【项目来源】本论文由大学生创新创业训练计划项目（项目名称：基于红外热成像技术和卷积神经网络的多种疾病检测系统）支持。
中图分类号：G212 文献标识码：A DOI：10.12246/j.issn.1673-0348.2021.01.078
通過分析视频或图像中人的面部信息判断其生理及心理表征的应用非常广泛，研究表明，面部捕捉到的信息越多，综合分析后的准确率就越高。
以测谎为例，人在说谎时面部表情的变化体现为瞳孔、眼睛以及嘴角等微表情的变化。微动作心理学家指出，人在撒谎时眼睛表现最为明显，一般表现为不断晃动或飘忽不定;当大脑在编织谎言时，人的眼球运动方向是右上方;如果是回忆确实发生过的事情，会看向左上方。同时说谎者喜欢假笑，真正的微笑是均匀的，来的快消失得慢。伪装的笑容来的会比较慢，而且有些不均衡，眼部肌肉没被充分调动。说谎会脸红，同时鼻子真的会变大几毫米，肉眼极难观察，但说谎者会觉得鼻子不舒服，从而去触摸它。在说谎时，说谎者会由于心理紧张以及其他原因导致一些系列植物神经系统功能的变化，具体反映在身体局部体温的变化。本文采用可见光摄像头与红外热成像摄像头共同对被测者进行实时监测，从而获取面部微表情及局部红外热谱图，采用红外热成像对温度细微变化的感知以及卷积神经网络算法对面部表情识别相结合，进而实现对被测者的生理及心理表征进行准确判断。
1. 基于红外热成像技术的生理表征分析
红外热成像将物体表面的热辐射显示成二维的可视图象。正常人体的温度分布具有一定的稳定性和特征性，机体各部位温度不同，形成了不同的热场。当人体某处发生疾病或功能改变时，该处血流量会相应发生变化，导致人体局部温度改变，表现为温度偏高或偏低。根据这一原理，通过热成像系统采集人体红外辐射，并转换为数字信号，形成伪色彩热图等。
研究结果表明：说谎者说谎时，大脑前部区域的活动较为活跃，说谎者说谎时脑部总共有7个区域在活动，而说实话的人则只有4个区域在活动，说谎应该比说实话更耗费脑力。脑部进行高速运转从而导致脑力温度略有升高，通过热图显示出来的结果，经过算法对图像进行细微之处温度的变化进行分析，进而作为我们判定说谎的依据之一;此外，说谎者进行说谎时伴随心跳加快，导致其机体代谢增加，调动机体产能增加，会升高体温，且说谎时会出现紧张感，人在紧张的状态下，也会出现脸红脸部皮温升高。此时若对被测者的面部进行扫描，同样通过观察比较被测者面部热图是否温度增高来判断。
撒谎时人脸的红外热成像图如图1所示。在正常人体状态下，鼻子的温度高于我们面部的温度，然而在撒谎时，体内的激素分泌会导致人体面部周围的温度升高，并且高于鼻子的温度。
2. 基于卷积神经网络的面部表情分析
2.1 卷积神经网络的基本结构
卷积神经网络CNN由特征提取网络和分类器网络两大部分组成。典型的卷积神经网络主要由输入层、卷积层、下采样层（池化层）、全连接层和输出层组成。CNN的优势主要表现为局部感知、权重共享和多卷积核。
测试系统装有可见光摄像头和红外热成像摄像头，可见光摄像头录制被测试者的肢体和面部信息，通过深度学习算法分析被测者的微小生理变化，使用滑动窗口的卷积神经网络进行逐帧的姿态估计。比如瞳孔的放大与缩小、眼球的转动、嘴角的变化等。
2.2 数据采集及实验环境
实验采用的数据集是Olivetti Faces 人脸数据库和IDIAP Wolf数据库，IDIAP Wolf数据库是首个由多个说话人录制的语料库。瑞士IDIAP研究机构设计了一个游戏型的数据采集场景，被测人均为IDIAP研究社区的志愿者，采集过程中由志愿者进行角色扮演游戏——狼人游戏。整个游戏过程由旁白指导，玩家随机分成村民和狼人，其中狼人角色玩家在游戏过程中会撒谎，村民角色玩家会说真话，该语料库的新颖之处在于，交互式对话过程中玩家并不知道对方是否撒谎，整个数据集由15次游戏录音组成，共36个被测人，分成四组，每组8-12个人，所有的语音数据都由头戴式麦克风录制，共生成7小时语音数据。
Olivetti Faces 人脸数据库由400 张人脸图片构成。人脸库的灰度级是8位，每一张人脸图的大小为64×64
实验的环境为：Windows 10 下的python3.6，计算机CPU 是英特尔i5-8250，8G内存，使用的是LeNet-5卷积神经网络的构造。卷积神经网络模型训练参数如表1所示。实验过程中对同一人的不同表情作为变量，来进行实验观察，得到Olivetti Faces 人脸数据库中人脸的细微变化的捕捉。
2.3 实验结果与分析
首先通过自己团队成员的五人（分别记作A、B、C、D、E）来进行红外的测试，通过借鉴IDIAP Wolf数据库的来源也构建了简易的数据采集场景，来进行说谎时候的温度变化，得到的温度数据如表2所示。表中数据以说谎前测试者面部温度为标准，表中数据为测试者说谎后相对说谎前的变化值，正负分别表示增加和缩小。
假设其他外部影响因素保持不变，综合分析五位测试者的数据，由表2知：说谎时，测试者的面部部分区域温度会有所变化且遵循面部（鼻子周围）温度会升高。然而在正常人体状态下，鼻子的温度高于我们面部的温度。因而证明我们的方法切实可行。
对其中一位测试者提取出来的的瞳孔放大缩小数据如图2所示。0为初始瞳孔直径，1-10为测试者在不同表情不同心理活动下的瞳孔相对初始瞳孔直径的改变值。纵坐标表示瞳孔直径改变的数据（单位为毫米），正负分别表示增加和缩小。
由图2知，通过卷积神经网络对这些图片分析训练出来的数据得到在不同的表情下，同一人物的瞳孔曲张程度均发生了细微变化，根据这些细微变化对测试者原有的基础上进行更详细的分析，从而提高测试的准确性。
3. 结论
本文提出的基于红外热成像技术和卷积神经网络的生理表征方法，融合了红外热成像对测试者局部温度动态变化及CNN进行面部表情分析的优点，提高了对被测试者生理表征判断的准确性。
参考文献：
[1]张红军.红外热成像测温技术及其应用[J].船舶工程，2007（02）：16-17.
[2]李彦冬，郝宗波，雷航.卷积神经网络研究综述[J].计算机应用，2016，36（009）：2508-2515.
[3]杨玉涟，官钰翔，沈毅，等.基于卷积神经网络的人脸识别[J].电子测试，2020，450（21）：62-63+101.
【关键词】视频图像;红外热成像技术;卷积神经网络;生理表征
【项目来源】本论文由大学生创新创业训练计划项目（项目名称：基于红外热成像技术和卷积神经网络的多种疾病检测系统）支持。
中图分类号：G212 文献标识码：A DOI：10.12246/j.issn.1673-0348.2021.01.078
通過分析视频或图像中人的面部信息判断其生理及心理表征的应用非常广泛，研究表明，面部捕捉到的信息越多，综合分析后的准确率就越高。
以测谎为例，人在说谎时面部表情的变化体现为瞳孔、眼睛以及嘴角等微表情的变化。微动作心理学家指出，人在撒谎时眼睛表现最为明显，一般表现为不断晃动或飘忽不定;当大脑在编织谎言时，人的眼球运动方向是右上方;如果是回忆确实发生过的事情，会看向左上方。同时说谎者喜欢假笑，真正的微笑是均匀的，来的快消失得慢。伪装的笑容来的会比较慢，而且有些不均衡，眼部肌肉没被充分调动。说谎会脸红，同时鼻子真的会变大几毫米，肉眼极难观察，但说谎者会觉得鼻子不舒服，从而去触摸它。在说谎时，说谎者会由于心理紧张以及其他原因导致一些系列植物神经系统功能的变化，具体反映在身体局部体温的变化。本文采用可见光摄像头与红外热成像摄像头共同对被测者进行实时监测，从而获取面部微表情及局部红外热谱图，采用红外热成像对温度细微变化的感知以及卷积神经网络算法对面部表情识别相结合，进而实现对被测者的生理及心理表征进行准确判断。
1. 基于红外热成像技术的生理表征分析
红外热成像将物体表面的热辐射显示成二维的可视图象。正常人体的温度分布具有一定的稳定性和特征性，机体各部位温度不同，形成了不同的热场。当人体某处发生疾病或功能改变时，该处血流量会相应发生变化，导致人体局部温度改变，表现为温度偏高或偏低。根据这一原理，通过热成像系统采集人体红外辐射，并转换为数字信号，形成伪色彩热图等。
研究结果表明：说谎者说谎时，大脑前部区域的活动较为活跃，说谎者说谎时脑部总共有7个区域在活动，而说实话的人则只有4个区域在活动，说谎应该比说实话更耗费脑力。脑部进行高速运转从而导致脑力温度略有升高，通过热图显示出来的结果，经过算法对图像进行细微之处温度的变化进行分析，进而作为我们判定说谎的依据之一;此外，说谎者进行说谎时伴随心跳加快，导致其机体代谢增加，调动机体产能增加，会升高体温，且说谎时会出现紧张感，人在紧张的状态下，也会出现脸红脸部皮温升高。此时若对被测者的面部进行扫描，同样通过观察比较被测者面部热图是否温度增高来判断。
撒谎时人脸的红外热成像图如图1所示。在正常人体状态下，鼻子的温度高于我们面部的温度，然而在撒谎时，体内的激素分泌会导致人体面部周围的温度升高，并且高于鼻子的温度。
2. 基于卷积神经网络的面部表情分析
2.1 卷积神经网络的基本结构
卷积神经网络CNN由特征提取网络和分类器网络两大部分组成。典型的卷积神经网络主要由输入层、卷积层、下采样层（池化层）、全连接层和输出层组成。CNN的优势主要表现为局部感知、权重共享和多卷积核。
测试系统装有可见光摄像头和红外热成像摄像头，可见光摄像头录制被测试者的肢体和面部信息，通过深度学习算法分析被测者的微小生理变化，使用滑动窗口的卷积神经网络进行逐帧的姿态估计。比如瞳孔的放大与缩小、眼球的转动、嘴角的变化等。
2.2 数据采集及实验环境
实验采用的数据集是Olivetti Faces 人脸数据库和IDIAP Wolf数据库，IDIAP Wolf数据库是首个由多个说话人录制的语料库。瑞士IDIAP研究机构设计了一个游戏型的数据采集场景，被测人均为IDIAP研究社区的志愿者，采集过程中由志愿者进行角色扮演游戏——狼人游戏。整个游戏过程由旁白指导，玩家随机分成村民和狼人，其中狼人角色玩家在游戏过程中会撒谎，村民角色玩家会说真话，该语料库的新颖之处在于，交互式对话过程中玩家并不知道对方是否撒谎，整个数据集由15次游戏录音组成，共36个被测人，分成四组，每组8-12个人，所有的语音数据都由头戴式麦克风录制，共生成7小时语音数据。
Olivetti Faces 人脸数据库由400 张人脸图片构成。人脸库的灰度级是8位，每一张人脸图的大小为64×64
实验的环境为：Windows 10 下的python3.6，计算机CPU 是英特尔i5-8250，8G内存，使用的是LeNet-5卷积神经网络的构造。卷积神经网络模型训练参数如表1所示。实验过程中对同一人的不同表情作为变量，来进行实验观察，得到Olivetti Faces 人脸数据库中人脸的细微变化的捕捉。
2.3 实验结果与分析
首先通过自己团队成员的五人（分别记作A、B、C、D、E）来进行红外的测试，通过借鉴IDIAP Wolf数据库的来源也构建了简易的数据采集场景，来进行说谎时候的温度变化，得到的温度数据如表2所示。表中数据以说谎前测试者面部温度为标准，表中数据为测试者说谎后相对说谎前的变化值，正负分别表示增加和缩小。
假设其他外部影响因素保持不变，综合分析五位测试者的数据，由表2知：说谎时，测试者的面部部分区域温度会有所变化且遵循面部（鼻子周围）温度会升高。然而在正常人体状态下，鼻子的温度高于我们面部的温度。因而证明我们的方法切实可行。
对其中一位测试者提取出来的的瞳孔放大缩小数据如图2所示。0为初始瞳孔直径，1-10为测试者在不同表情不同心理活动下的瞳孔相对初始瞳孔直径的改变值。纵坐标表示瞳孔直径改变的数据（单位为毫米），正负分别表示增加和缩小。
由图2知，通过卷积神经网络对这些图片分析训练出来的数据得到在不同的表情下，同一人物的瞳孔曲张程度均发生了细微变化，根据这些细微变化对测试者原有的基础上进行更详细的分析，从而提高测试的准确性。
3. 结论
本文提出的基于红外热成像技术和卷积神经网络的生理表征方法，融合了红外热成像对测试者局部温度动态变化及CNN进行面部表情分析的优点，提高了对被测试者生理表征判断的准确性。
参考文献：
[1]张红军.红外热成像测温技术及其应用[J].船舶工程，2007（02）：16-17.
[2]李彦冬，郝宗波，雷航.卷积神经网络研究综述[J].计算机应用，2016，36（009）：2508-2515.
[3]杨玉涟，官钰翔，沈毅，等.基于卷积神经网络的人脸识别[J].电子测试，2020，450（21）：62-63+101.