基于卷积神经网络的视频行为识别的研究

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:tsuiyoung
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着5G网络时代的到来和深度学习及图灵设备的发展,越来越多基于深度卷积神经网络的技术被运用到人们的日常生活中来。深度神经网络虽然具有训练参数量较大、计算过程较复杂的缺点,但是,我们仍然不能忽略其具有自动提取隐式特征信息的优点,并且它被广泛地应用在多个领域中。其中,三维卷积神经网络是一种无需人工提取特征,能够直接处理连续视频帧数据的端到端网络模型,并且该网络常被用于基于视频数据的人体行为识别领域中。本文针对经典的三维神经网络进行了深入的研究,并根据不同的需求相应的改进了神经网络结构,提出了多种改进后的三维神经网络模型,主要的工作和创新有以下几点:(1)为了获取更具代表性的特征,提出了一种基于深层特征融合的三维卷积神经网络。不仅在网络模型的构建中,使用了Relu激活函数和批标准归一化等当前被证明有效的方法,还将高层特征与底层特征相融合组成新的特征表达;(2)为了增加网络的感受野范围,减少网络的计算量,并加速网络的收敛速度,本文融合Google提出的Inception_Res结构的思想,进一步提出了一种基于多尺度特征深度融合的三维神经网络,即在网络结构的三维卷积层中用多个小维度的3D卷积核来代替大维度的3D卷积核,并加入残差连接和BN层来防止网络模型出现过拟合现象;(3)为了使网络能够有不同尺度的输入,能够提取更深层次的语义信息,本文进一步提出了一种融合多级金字塔网络和注意力机制的3D卷积神经网络模型。在对传统的三维神经网络做多层级特征融合的同时,融合多级金字塔网络和注意力机制来提高模型的鲁棒性和识别正确率;(4)为了对视频数据集中的视觉属性进行显式学习,从而对相似特征做细化分类,本文进一步提出了一种基于视觉属性增强的集成神经网络。其结构主要包括三个子网络,第一个子网络为基于多尺度特征深度融合的3D卷积网络,第二个子网络为融合多级特征金字塔网络和注意力机制的3D卷积网络,第三个子网络为基于视觉属性增强的卷积网络,即主要网络过程是使用成熟的目标检测算法Faster-RCNN来对视频数据中的视觉属性进行发现和提取,然后将视觉属性和视频动作类别关联起来,再输入到全卷积层后进行动作分类和识别。最后,本文在UCF-101数据集上的实验充分表明本文提出的多种模型的有效性。
其他文献
随着现代科学理论和技术的发展,网络化、信息化逐渐成为这个时代的标签。世界的发展与信息技术紧密联系,信息化渗透各行业领域,其重要性不言而喻,促进信息技术服务业在各行业
光催化技术作为能够解决水环境污染的一项新型技术近年来受到了研究者的广泛关注。钙钛矿片层结构的钨酸铋(Bi_2WO_6)光催化剂带隙宽度适宜约为2.7 e V,能够很好的利用太阳光且具有良好的稳定性,因此展现出了广泛的工业应用前景。与此同时,在应用的过程中Bi_2WO_6光催化剂存在着光响应能力不高,光生载流子极容易复合等问题,这限制了其在工业领域的发展。本论文通过形貌调控、离子掺杂、半导体复合的手
近年来,随着社会工业的快速发展,环境污染的剧烈和能源短缺等问题已经引起了全球关注和重视,例如由于工业染料废水的排放导致的环境污染,让人们不得不重视这方面的问题。为了解决能源和环境危机,由于光电化学半导体材料可以将太阳能转换为电能或化学能,而被广泛研究。其中这些能源转换仅使用太阳能,几乎没有污染物,因此这是一条绿色且持续的路线。Fujishima教授在1972年发现TiO2可以通过光催化分解水得到氢
我国连续十七年发布了以“三农”主题的中央一号文件,明确提出要补齐“三农”领域突出短板,持续促进农民增收。党的十九大报告中提出了要以农民增收为基础,推进农业农村发展,实施乡村振兴战略。“三农”问题是关系国家经济和人民生活的根本问题,而农民作为农业农村的主体,解决“三农”问题的关键在于解决农民问题。农民的收入水平直接关系着农村的经济发展,进而影响了国民经济的增长。同时,由于农民收入增长不快而产生的各种
初中《道德与法治》课程是一门以初中学生生活为基础,以引导和促进初中学生思想品德发展为根本目的的综合性课程。为了更好地让学生接受思想道德品质教育,且能够在生活中拥有一个正确的价值观念和健康的心理状态。理答作为课堂提问的重要环节,是师生对话交流完美收官的关键、是师生互动课堂效果的直观呈现、更是学生有效掌握并运用知识的重要法宝。为了加强教师队伍建设,建设社会主义现代化强国,新手型教师的专业培养不可忽视,
党的十九大以来,中国经济的整体发展呈现出了勃勃生机,各行业、各领域渐渐地表现出依法合规、阳光透明、客观公正的发展态势,越来越符合宏观发展需要,符合社会各界期盼。在此
在这个信息时代,现代图书管理已经从“以技术和信息为基础”的理念发展到“以人为基础”的理念,对用户需求的研究尤为重要。用何种办法提高个性化信息服务质量,是图书馆界需要加深讨论的问题。信息服务人员应根据用户的认知过程提供什么样的信息,是当代图书馆信息服务研究的重要课题之一。习近平在中共十八大会议上特别强调了要加强中国特色教育事业建设,,并阐述了他对教育的高度重视。小学生教育是教育的基础,小学生教育不仅
为了响应我国建设“一张网”的号召,加快国内的有线电视网的整合和发展,在宽带网络中实现万兆的传输速率,刻不容缓。HINOC应运而生,它的性能可以和光纤媲美。目前,HINOC 2.0已广泛普及。万兆同轴接入系统HINOC 3.0的研发已全面展开。为了保障4K/8K等大带宽、低延迟、大容量业务和满足用户对极致网络服务体验的需求,HINOC 3.0中合理规划多信道带宽显得尤为重要,亟需研究并设计高效、合理
房地产市场随着社会主义市场经济的迅速发展,已成为我国国民经济的重要组成部分,逐渐成为中国重要的支柱产业。房地产市场的发展对相关企业的经营管理提出了更新、更高、更强的要求。房地产企业采取何种策略能使其在市场上具有一定竞争力,它是每个房地产开发商及理论和实践者应该关注和研究的课题。目前,房地产开发商只有为用户提供满意的产品,才能获得足够的市场空间并获得良好的效益。从新形势下房地产市场尤其三线城市房地产
数字图像是当前人们表达信息的主要载体之一,大量的数字图像信息在丰富我们生活的同时,也对网络带宽、存储能力带来了不小的挑战。为了缓解上述问题,在图像的传输、存储等过程中,往往通过对图像进行压缩编码来减少图像中的冗余信息。然而,这种做法通常会降低图像的质量,衰减后的图像质量不一定能满足用户特定的需求。因此,需要一个灵活的策略来将用户不同的需求与编码后图像的质量进行匹配。本文通过分析用户可能存在的潜在应