在现代信息社会,随着各类视频设备、软件应用的不断升级及信息传输成本的不断下降,以人的行为活动为中心主题的视频数据被大量生产并成为信息传播的主要载体之一。因此,开发基于视频数据处理的人体行为识别算法是计算机视觉研究与应用的重要课题之一。近年来,大数据驱动的监督式的深度神经网络方法相较于传统人工设计特征的方法有较明显的性能优势和应用前景,而深度三维卷积神经网络是提取视频数据时空间特征的高效结构,是实现人体行为识别的一个重要研究方向,并且其在视频处理中经济的应用也是需要解决的问题之一。本文围绕深度三维卷积神经网络的迁移构建与视频分析架构的设计,进行了一系列的研究与实验,分别从三维卷积网络的构建与参数迁移过程的简化、多时空点特征提取的架构设计、底层行为数据冗余性的优化、高层行为特征的聚合模式以及多模型分析的互补提升等方面进行了深入研究,使三维卷积神经网络可以脱离对大视频数据集预训练参数迁移的依赖,并能达到行为识别的先进水平。本文的主要研究内容可以被具体总结为如下几个方面:（1）在简化三维卷积网络的构建和参数迁移过程方面,提出了三维卷积网络的二维卷积膨胀构造方法。该方法通过空间同构、时间异构的三维卷积网络的高效构建和二维卷积网络参数的有效迁移,替代了计算成本高昂的大规模视频数据预训练的参数迁移方法,从而降低了构建三维卷积神经网络所需要消耗的训练时间和计算资源。本文提出的二维卷积膨胀法理论上将二维参数的迁移视为一种域适应过程,而非一种隐式预训练过程,并将三维卷积网络视为在时空间层次上容纳多个有效二维卷积网络的有序容器,从而使三维卷积网络在空间层次与时间层次具有各自适应性的分析模式。与传统的二维膨胀方法相比,本文的方法不仅简化了三维卷积网络的构造过程,还扩展了应用范畴。（2）设计了多分支深度三维卷积神经网络的视频分析架构。该架构可以在视频数据的多个时空点上提取高层次时空间特征,从而获取视频不同时域区段上的动作语义信息,通过架构中提出的残差全连接网络对不同区段的动作语义进行聚合理解,进而分析视频中的整体行为信息,加强了对视频中长时间内容信息的理解。为进一步探索时域区段数据与架构分支数目对行为识别的影响并确定最优的架构设计,本文实验对比了五种分支架构在输入多种不同容量的时序信息下的性能表现。实验表明,视频分析性能的提升需要架构分支数目与各区段时序信息输入容量成反比变化,并确定了六分支架构为最优的视频分析模式。同时,在多分支特征聚合模式上的消融实验表明,提出的残差全连接网络可以有效减少梯度破碎并能很好地聚合高层行为表示,提升行为识别的效果。（3）提出了多分支三维卷积网络与改进稠密轨迹的互补融合方法。改进稠密轨迹作为传统人工设计特征的方法在局部时空间区域提取具有显著特征的描述子,深度特征表示则是通过端到端的监督学习构造,本文的互补融合方法为利用这两种特征方法在行为识别上的各自的优势,探索了融合人工设计特征与深度特征的策略,并且通过实验对比了多模型集成的方法与多特征分类互补融合的方法在行为识别上的性能表现,证实了提出的的互补融合方法在分类性能上的优势。实验还进一步在稠密连接网络上应用了二维卷积膨胀法与多分支架构的设计,验证了相关方法的适用性与泛化性。同时,多模型集成方法和互补融合方法的组合使用获得了先进的行为识别结果。（4）提出了多分支三维卷积神经网络的多流网络框架。本文在光流图像域中应用了提出的二维卷积膨胀法与多分支三维卷积网络架构,训练了适用于光流图像处理的深度三维卷积网络,并进一步构建了多流融合的多分支三维卷积神经网络,从而提升了人体行为识别的效果。最终构建的集成模型在UCF101数据集上取得了95.8%的识别准确率,在HMDB51数据集上取得了75.2%的识别准确率,从而使深度三维卷积神经网络可以在不进行视频数据预训练的条件下达到人体行为识别的先进水平。