论文部分内容阅读
面部表情识别(Facial Expression Recognition,FER)是根据已有的情感认知理论对人脸图像进行情绪识别的过程。在日常沟通交流中表情能够传递丰富的信息,如能理解交互者的情感状态,则能使对话更顺利;同样地,基于计算机、算法的发展应运而生的人-机交互(Human-Computer Interface,HCI)系统,如能感知人类的情感状态,则能够增强沉浸度,显著提高HCI交互体验。交互体验的提高如应用于康复训练,则可提高认知障碍者的情绪认知能力。本文以此为出发点,通过对具有实时性、计算量小的表情识别算法展开研究,并结合FER和情绪认知障碍者的认知特征,搭建HCI交互康复训练系统。研究内容主要分为以下三个方面:其一,采用深度可分离卷积运算、多尺度信息感知运算结合特征拼接运算,提出Concat_Xception轻量级的卷积神经网络(Convolution Neutral Network,CNN)。通过深度可分离卷积、全局平均池化层代替全连接层以减少网络参数;学习聚合运算后的特征通道的权值信息以获取更具表征能力的特征;并引入全局信息聚合的特征拼接运算以辅助softmax分类决策。网络在facial expression recognition challenge dataset(Fer2013)数据集取得70.13%的准确率。其二,基于Concat_Xception算法,在自然场景下的低算力平台搭建实时的FER系统。采用方向梯度直方图(Histogram of Oriented Gradient,HOG)算法实现人脸识别,再调用Concat_Xception算法模型实现表情识别,最后FER系统在NVIDIA Jetson TX2上取得6.52fps,基本满足实时性的要求。其三,将FER系统结合情绪认知障碍者(例如自闭症)的情绪特征,提出具有交互性的康复训练范式。参考康复师意见设计情绪诱因实验,分析患者的表情特征;再结合FER系统及情绪干预课程设计实验范式,并部署于Jetson TX2、Android移动端,以期能辅助医师进行康复训练。对情绪康复辅助训练系统的研究,通过分析正常人的交互测试数据验证了系统的可行性,其中通过可视化的表情模仿界面、系统的反馈信号都能提高交互者的积极性。