随着新能源以及信息技术的不断发展,汽车产业正在加速向新能源化、智能化、网联化、数字化方向发展,汽车这一交通工具也正在向着智能终端的方向转变。智能座舱关注车内感知,通过感知驾驶员和乘客以及车内状况以提供驾驶员和乘客更好的驾乘体验和更安全的行车保障。驾驶员行为识别通过在车内安装摄像头并利用计算机视觉技术识别驾驶员的行为,进而进行提醒或驾驶员反馈。然而行为识别算法有着计算复杂、部署困难等难点,基于深度学习的行为识别算法通常拥有较好的鲁棒性和准确率,同时也对计算资源的要求很高。然而算法的端侧化运行又是非常有必要的,将数据传到云端进行计算再回传延迟太长,而且很容易在隧道行车等场景下遇到信号丢失的情况。因此本文的主要研究为车载场景下高效的行为识别算法设计以及行为识别算法的端侧化部署,主要对车载行为中的手势交互行为以及如吸烟等驾驶员异常行为进行识别。本文首先综合分析了各类基于深度学习的行为识别算法,并分析了它们的优缺点。然后提出了一种2D卷积和3D卷积融合的行为识别网络结构。针对3D卷积网络计算量大的问题,使用基于强化学习的网络结构搜索,进行3D卷积网络结构的优化,提出一种以教师网络为基础的3DNAS方法以提高结构搜索效率,同时考虑到端侧化需求,设计并实现了端侧化反馈机制。在公开的手势行为数据集上模型的最高准确率达到95.63%,是该数据集的目前最高的准确率。在自建的驾驶员行为数据集上移动端网络模型也达到了98.33%的准确率。网络结构的确定只是第一步,真正需要将神经网络算法运行在端侧平台还需要对网络结构进行进一步优化,以适应端侧硬件平台和软件平台,对于特定的网络模型,不同的部署方案可能会产生性能上的巨大差异。本文就海思麒麟980平台下的神经网络模型部署进行开发工作,根据所设计的两段式网络结构的行为识别模型,设计了一种NPU+CPU的端侧化异构计算部署方案,对比只使用CPU计算的方案,推理速度大大提高,另外根据模型结构特点,针对在线实时视频流计算的场景下采用特征滑动窗口的方法去除冗余计算,最终达到了实时性的要求,单次推理时间仅需19.81ms。