一个深度卷积网络往往建立在大量的数据基础之上,相应的人工标注工作是惊人的,自监督学习的学习方式提供了一个解决方案,让模型自动挖掘数据中的特征。视频数据本身具有较强的时序信息,视频预测是一个依赖于数据时序信息的任务,利用时序信息分析图像帧中对象的变化趋势是一个视频预测模型必须具备的能力。此前的视频预测方法大多只能在相邻时间步的时空特征获取预测的特征依据,导致模型容易在靠后的时间步预测中丢失预测对象的形状。其次,LSTM的主要架构的遗忘门控在预测过程中表现出对于更新信息部不敏感,使得模型很难学习到视频数据中的相对复杂的变化信息。针对基于深度学习的视频未来帧预测模型进行了深入研究,在LSTM单元基础上进行改进设计了一种新的基于注意力机制的网络模型,该模型相比于此前其他视频预测模型的优点在于没有利用长短时记忆网络中的门控机制提取时空信息,而是借助语言模型领域中的注意力机制进行特征提取,有助于模型对于视频数据的全局信息进行捕捉。另外还就基本的长短时记忆网络单元对遗忘门控进行了改进,通过差分机制提取相邻时间步中的变化部分指导模型围绕动态信息进行建模,提高模型对视频数据中复杂信息的学习能力。最终将设计的模型与此前的表现不错的工作分别在几个视频预测领域常用的数据集中做了定量和定性的对比,展现了较好的效果。此外,利用视频预测任务自监督学习的任务性质,将训练好的视频预测模型加以改造最终投入对行为识别任务中,相对于常见的基于卷积网络和循环神经网络的行为识别的算法展现了更好的性能。