近年来,随着微电子技术和计算机系统的发展,使多模态传感器有了长远的进步,其中在人机交互和智能手机传感器方向应用广泛,而针对基于多模态传感器的行为识别研究也引起了学术界的关注。行为识别研究是为了探索人体的身体和心理活动,并通过科学技术对人体活动进行干预。如今,行为识别研究在人机交互、医疗诊断和智能家居等领域已成为人们不可忽视的焦点之一。随着深度学习在自然语言处理,目标检测领域取得突出成绩,行为识别研究也发展迅速。传统的行为识别方法都是从原始数据中手动提取特征,该方法比较耗时;另外传感器信号数据携带的信息远远少于文本和图像,最大限度地利用给定的数据,需要谨慎的预处理和丰富的领域知识。而深度学习模型可以学习到深层次的特征,这些特征可以通过网络模型自动学习而不是手动提取,可以提高识别的准确度和工作效率,另外使用注意力机制算法可以更充分的利用传感器数据。因此,论文将注意力机制和深度学习模型引入到多模态传感器行为识别研究中,重点研究了行为识别在脑-机接口和智能手机传感器方向的应用。主要研究成果如下:(1)针对基于脑-机接口的脑电图意图识别问题,传统方法提取特征耗时且识别率较低,故论文对脑电图信号进行分析评估,进而提出了一种双通道注意力网络模型,用于对用户的行为意图识别。该模型从采集志愿者的脑电图信号中学习影响用户情感的特征,在一个目标数据集eegmmidb评估该模型的有效性。实验结果说明,该模型可以为用户提供良好的情感分析,也可以为残疾人士提供有效的生活辅助。(2)针对基于智能手机传感器的行为识别问题,现有方法也面临着识别率低以及移动部署问题,所以论文提出了一种堆叠循环自注意力网络模型,该方法可以对智能手机传感器数据内部特征进行更深层次学习,提取到更多的交互信息。在两个目标数据集WISDM和UCIHAR的识别率可以达到98.63%和98.37%,并对自注意力机制的核心函数进行实验论述,验证了所设计模型的优越性。论文还将该模型部署到Android手机平台上进行实时的行为预测,为人们生活提供了便利。(3)在超参数调节方面,论文使用了一种正交阵列实验方法,该方法在参数选择方面的工作效率远高于传统的超参数调节方法,大大减少了参数调节的工作量。论文在深度学习领域应用正交阵列参数调节尚属首次。