面部表情作为一种能够直观反映出人类情绪的交互方式,其应用已经在生活中的方方面面都得到了普及,在商用车行车安全这一领域中也是正逐渐受到关注的一个议题,它对于理解驾驶员的心理和情绪状态具有非常重要的意义。在真实场景中,以往经常将面部表情识别算法直接部署在云端,而随着近来芯片技术、互联网技术日新月异的发展,越来越多的边缘设备节点接入到现有的物联网,这些边缘设备本身所具备的资源也越来越丰富,所以许多深度学习算法已经可以在边缘端实现,从而降低了数据的传输的成本、不稳定性以及云端的负载,这样的部署方式也使得数据的隐私安全性得到了提高。在这样的技术背景下,本课题着眼于在一个边缘硬件平台上实现一个面部表情识别系统,可以放置于驾驶座舱中,对于驾驶员的情绪状态进行实时监测。本课题所做的工作主要可以归纳为以下这几部分的内容:首先,对于本课题所需人脸面部表情识别以及嵌入式边缘计算这两个主要技术进行了概述,也对本课题所着眼的智能驾驶应用领域进行了一定的调研,从而证明了本课题所做的工作的可执行性。其次,本课题基于需求搭建了一个硬件系统,并根据硬件平台上所集成的软件模块进行了软件系统的设计,实现了一套完整的可以在该边缘硬件端运行的实时面部表情识别流程。再次,考虑到一般的CNN仅提取二维空间信息而诸如C3D之类的三维网络对实际部署场景的要求较高,本课题在帧间差分法、Canny边缘检测算法的启发下,创新性地设计了一种快速且有效的算子。这个算子可以提取出连续图像帧中的时间信息,从而弥补一般二维网络的缺陷,建模人脸面部表情的运动模态。另外,它没有需要学习的参数,不会使得模型的尺寸增加,并且可以被非常方便地插入到各种现有二维神经网络中。出于在实时场景中以较低的算力和存储空间需求达到较高的识别精度的目的,我们基于实验对于网络结构进行了设计,并且在各数据集上进行训练,验证了本课题所设计的算子及模型确实在鲁棒性、精确度、实时性等性能之间达到了较好的平衡。最后,本课题对于模型的边缘部署的流程进行了详细介绍,由于所使用的硬件平台有一套严格的开发规范,所以根据其规范实现了模型转换、模型精度对比、驱动移植、基于媒体软件处理平台和硬件加速平台的应用层逻辑开发的过程,最终实现了一个完整的从输入到输出的实时面部表情识别系统,并对其使用效果进行了测试。