论文部分内容阅读
与传统的面部宏表情不同,微表情是无意识的、快速的面部表情,可以在测谎、刑事侦查等应用中提供重要的信息。然而,由于微表情的特殊性,微表情研究存在一些难题。在微表情数据库方面,由于微表情的采集工作较为困难、没有统一的数据库建立标准,因此,用于微表情研究的数据库较少,质量参差不齐。在微表情检测方面,传统的检测技术仅仅基于纹理特征或光流特征,检测的效果并不理想。在微表情识别方面,由于微表情数据库的匮乏,训练集的样本过少,无论是传统方法还是深度方法都受到一定的限制。如何获得可用于微表情识别的丰富信息,减少人工标注工作,是需要进一步研究的课题。
为了缓解微表情数据库不足,无法满足进一步研究的现状,本文建立了一个专用于微表情检测的SDU_spotting数据库。为了解决人工编码的耗时费力、准确度有限的问题,本文提出了一种基于AU半决策的时频融合微表情检测算法和一种基于无监督跨库的微表情识别算法,并在多个微表情数据库上进行了实验。具体而言,本文的主要贡献如下:
第一,建立了一个专门用于微表情检测的数据库——SDU_spotting数据库。在现有的微表情检测数据库中,SDU_spotting数据库具有最多的样本数和最高的分辨率。除此之外,SDU_spotting经过科学细致的人工编码,提供了所有样本的AUs、情绪类型以及起始帧、高潮帧和终止帧的信息。
第二,提出了基于AU半决策的时频融合微表情检测算法。通过半决策算法,使用运动单元信息找到微表情检测的感兴趣区域,并在此基础上,立足时空域和频域两个方面,把提取的光流和频域特征结合,完成微表情检测。在SDU_spotting和CASMEⅡ数据库上的实验表明了算法的有效性。
第三,提出了基于分布适应的无监督跨库微表情识别算法。与一般的微表情识别模型不同,该算法引入样本信息丰富、和微表情数据具有一定共性的的宏表情作为辅助,使用宏表情和微表情数据库,对另一个没有任何标签的微表情数据库进行识别。算法由源域选择模型和自适应分布对齐模型两部分组成,实现了跨库的无监督微表情识别。在三组跨库数据集上就两种特征进行的广泛实验充分验证了算法的有效性。
为了缓解微表情数据库不足,无法满足进一步研究的现状,本文建立了一个专用于微表情检测的SDU_spotting数据库。为了解决人工编码的耗时费力、准确度有限的问题,本文提出了一种基于AU半决策的时频融合微表情检测算法和一种基于无监督跨库的微表情识别算法,并在多个微表情数据库上进行了实验。具体而言,本文的主要贡献如下:
第一,建立了一个专门用于微表情检测的数据库——SDU_spotting数据库。在现有的微表情检测数据库中,SDU_spotting数据库具有最多的样本数和最高的分辨率。除此之外,SDU_spotting经过科学细致的人工编码,提供了所有样本的AUs、情绪类型以及起始帧、高潮帧和终止帧的信息。
第二,提出了基于AU半决策的时频融合微表情检测算法。通过半决策算法,使用运动单元信息找到微表情检测的感兴趣区域,并在此基础上,立足时空域和频域两个方面,把提取的光流和频域特征结合,完成微表情检测。在SDU_spotting和CASMEⅡ数据库上的实验表明了算法的有效性。
第三,提出了基于分布适应的无监督跨库微表情识别算法。与一般的微表情识别模型不同,该算法引入样本信息丰富、和微表情数据具有一定共性的的宏表情作为辅助,使用宏表情和微表情数据库,对另一个没有任何标签的微表情数据库进行识别。算法由源域选择模型和自适应分布对齐模型两部分组成,实现了跨库的无监督微表情识别。在三组跨库数据集上就两种特征进行的广泛实验充分验证了算法的有效性。