在监狱反侦查、非协作的对抗环境下,服刑人员具有行为线索隐匿性强,防范心理严重等特点。目前,对于服刑人员改造的研究大多数是传统问卷调查和访谈等常态方式或者脑电波、心率等生理信号为依据进行分析研究。但是传统问卷调查和访谈等方式准确率低、主观性强,很难挖掘服刑人员潜在行为意图和客观心理活动。其次,使用生理信号如脑电波等进行分析研究时由于采集设备的存在,服刑人员会产生高度警惕,存在戒备心理,得到的数据并不是最真实有效的。然而,面部表情及行为作为一种客观性的、非接触式的信息,对服刑人员情绪识别及改造情况评估具有很好的利用价值。针对上述问题,本文主要依托于“服刑人员改造演化矫正技术与装备研究”这一国家重点研发项目,对服刑人员面部情绪识别及行为分析进行研究。分析服刑人员是否存在焦虑、抑郁和愤怒等情绪以及在与干警谈话过程中是否有说谎,不配合改造等行为的出现,更好地帮助干警分析服刑人员的改造情况。在基于面部的情绪识别方面,提出基于积分投影和DCP特征的焦虑、抑郁、愤怒情绪识别技术;在服刑人员面部行为分析方面,提出光流特征与风车模式特征相结合的微表情检测与测谎算法以及基于注意力检测的服刑人员主动改造评估技术。最后设计开发了一套简便易用的服刑人员面部情绪及行为评估系统。本文的主要工作和创新点如下:●焦虑、抑郁、愤怒这类负面情绪已经成为引发心理问题,危及心理健康的重要原因,由于服刑人员的特殊性,他们的心理健康与否将直接影响其改造状况,并且三类负面情绪面部表情极为相似难以区分。因此提出基于积分投影和双交叉模式的焦虑、抑郁、愤怒表情识别方法,并且引入基于边界Fisher分析的判别,通过获取面部重要表情区域的纹理信息,将保留面部表情形状属性的整体投影与跨空间和时间域的双交叉模式的纹理属性结合在一起,实现焦虑、抑郁、愤怒表情识别。●基于面部微表情的测谎是首先进行微表情检测,即定位含有微表情视频中微表情起始帧、终止帧的位置,然后通过关键的微表情动作判别受测者是否有说谎行为的出现。本文提出光流特征与风车模式特征相结合的微表情检测与测谎算法。根据不同表情FACS运动单元划分人脸感兴趣区域,提出光流特征与风车模式特征相结合的微表情检测方法,通过将面部纹理特征与面部动态特征相结合检测出微表情片段,很大程度上提升了微表情检测准确率,最后根据面部五个关键的微表情检测实现测谎。●对服刑人员与干警谈话时的注意力作为评估服刑人员是否主动改造的重要依据展开研究,融合人脸检测、头部偏转检测、眼睛闭合检测以及视线偏离检测四种面部行为检测分析服刑人员面部图像,判别其注意力集中与否,并以此为依据,辨识服刑人员是否是主动改造的。●利用计算机视觉库OpenCV、OpenFace以及Python构建服刑人员面部情绪及行为评估系统,采用摄像头进行视频采集,分别进行焦虑、抑郁、愤怒情绪识别;微表情检测与测谎分析;基于注意力检测的服刑人员主动改造评估,并对各部分结果进行实时展示分析。