随着深度网络在各图片任务上取得巨大成功,越来越多研究将重心放在更为复杂的视频理解任务上。动作识别任务的目的是对视频中所有人的动作进行时空位置的捕捉以及动作的识别,是重要的视频理解任务之一。动作识别课题具有重大的科研以及应用价值。动作识别能够广泛地用于监控摄像头、自动驾驶、平台视频审核和商业化、人类行为学研究等领域。本文基于视频中存在的多种交互关系对动作识别课题进行研究。交互关系泛指视频中人和环境的交互,我们通过对视频中人动作的观察,归纳出三种对动作分类有帮助的交互关系,其分别为人人交互、人物交互以及时域交互。为了对这些交互关系建模,我们首先利用深度视频网络配合物体检测模型,对视频中出现的人和物体的特征进行提取。对于这些提取的人和物体的特征,我们提出通用的基于点乘注意力机制的交互模块分别对上述三种交互关系进行建模。为了融合这三种交互模块,我们提出串型推理的结构,通过不同交互模块的串型相连,使得人的运动特征在交互模块中不断加强,并随着交互网络深入,能建模更加复杂的交互关系。长时域交互关系的建模对动作识别来说是重要且复杂的,以往算法在对类似长时间交互关系进行建模时需要消耗大量计算资源,针对这一问题,我们提出了特征池和时域动态读写算法。特征池存储了视频中较长时间内的运动特征,在训练时,模型使用算法在特征池通过读和写的操作对池中特征进行读取和更新。使用特征池和动态读写算法,一方面使得我们可以存储距离目标视频间隔长的时间特征,避免了直接对一整个视频进行卷积运算,另一方面,这种算法避免了对时间距离远的视频的特征离线提取,实现了更简洁的运算以及更好的效果。本文提出的模型在大规模原子动作数据集上进行实验。原子动作数据集是目前最大的,也是最可信的动作识别数据集。本文设置了多组对照实验来验证文中提出的各个模块的计算优势和精度优势。与目前其它高水准的动作识别算法相比,我们的模型使用同等或者更少的计算量,单模型精度提高了至少5m AP。本文提出的基于交互关系的动作识别模型是目前最好的动作识别模型。