随着网络通信技术的飞速发展,以及手机,平板电脑等移动设备的广泛使用,带火了以抖音,快手为代表的短视频平台。本文基于短视频的应用场景,针对短视频的特点,对短视频进行研究。主要针对短视频中的场景识别,行为识别以及联合特征学习展开研究,论文的主要工作和成果如下:为了解决短视频的场景识别问题,以及短视频场景中出现的模糊,抖动等问题,本文提出一种基于VGGNet的深度融合网络,首先,利用VGGNet16对全局特征进行学习,利用VGGNet19对图像细节进行学习,并将学习特征利用加权平均的方式进行融合;对于模糊问题,利用深度融合网络对模糊特征进行提取,利用低分辨率到高分辨率的方法合成模糊图像,对模糊图像进行上采样,并利用欧氏距离损失,计算模糊图像和清晰图像的相似性,从而对模糊图像进行恢复。在公开数据集2017-AI-Challenger-scene-classification中top3的结果为92.2%,在Charades短视频数据集中top3取得了78.9%的结果,证明了本文提出的方法在场景识别中有很好的效果,此外,通过对模糊图像的识别结果,本文所提出的方法有较好的鲁棒性。为了解决短视频中的行为识别问题,提出了一种基于互信息熵的关键帧提取算法,利用滑动窗保留帧间的时序信息;在关键帧提取的基础上,提出了一种基于可变卷积网络的双流CNN方法Deform-GoogLeNet,利用双流网络分别提取图像的RGB特征和光流特征,并利用加权平均的方法得到行为识别的结果。在公开数据集Charades数据集上的实验结果高于同类融合算法,证明了本文提出算法在短视频行为识别中有很好的效果。为了进一步提高短视频中的行为识别问题,提出了一种基于字典学习的场景特征和行为特征的联合学习模型,将场景特征作为上下文信息,利用字典学习和稀疏表示方法,能够更好地解释具有决策性的特征,从而提高行为识别的效果。通过在Charades中和厨房相关的数据集上进行的仿真实验,所提出的结合场景信息的行为识别算法表现要好于单一行为识别方法,证明了所提出方法的有效性。