随着微电子和计算机系统技术的发展,可穿戴智能设备在世界各地逐渐普及,它们通常配备有各式各样的传感器,例如最常见的加速度计和陀螺仪等,这为人类活动识别(Human Activity Recognition,HAR)的提供了丰富的信息。利用从各种传感器(加速度计,陀螺仪,GPS等)收集的信号,HAR系统可以识别各种人类活动,例如跑步,步行等日常活动以及吃饭,装配线工人行为等更复杂的活动。HAR系统已用于许多移动感知应用程序中,例如药物摄入监控,康复监测和健身追踪器。早期活动识别算法主要依靠人工特征提取和支持向量机等有监督的统计机器学习算法,人工特征提取通常使用统计特征,例如均值,方差等,这些方法通常受到领域知识的限制,并且只能捕获浅层特征。近年来,深度学习(Deep Learning)方法被成功地引入了人类活动识别系统中。深度学习具有自动特征提取的能力,可有效应用于构建HAR系统。目前基于深度学习的HAR系统存在两个问题。一是多模态感知数据融合问题,HAR系统的输入通常是从身体各个部位收集到的多模态信号,然而只有与活动相关的身体部位的某些模态信号能为活动识别提供有价值的信息,而不相关的信息通常会影响识别并降低识别器的性能。先前的研究通过简单拼接来融合多模态特征,会限制模型选择出重要模态的能力;二是难以收集有标签数据的问题,深度学习需要大量的标记数据才能从原始输入中提取出泛化性能较好的特征,然而由于隐私保护和数据标记成本过高等原因,在现实中收集大量标签数据对HAR系统来说几乎不可能实现。针对多模态感知数据融合问题,我们提出了一种与自注意力机制相结合的多模态神经网络模型,该模型利用卷积网络和门控单元网络进行特征变换,并通过注意力机制融合多模态信号特征和时间步的隐层状态,从而选择性地利用来自不同模态的特征。同时我们基于三个公共HAR数据集进行了大量的实验,实验结果表明了我们提出的模型表现出了很好的性能,我们还可视化分析输入信号各模态的权重,从而提供有关模型内部状态的信息,并提高模型的可理解性。针对难以收集标签数据的问题,我们提出了一种多任务无监督表征学习算法,该模型将自动编码器重构与k均值聚类目标相结合,用于提取包含原始输入主要信息并且对聚类友好的隐层表征,同时我们还基于聚类生成的伪标签训练了分类器。我们在三个HAR数据集上进行了充分合理的实验,结果表明该模型在无监督学习和迁移学习环境设置下表现出了很好的性能。我们还分析了隐层表征大小,编码器网络深度和训练集比例对模型性能的影响。