基于深度强化学习的多特征下目标追踪方法研究

来源 :辽宁师范大学 | 被引量 : 0次 | 上传用户:zrn851207
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度神经网络(Deep Neural Network,DNN)通过构建多层次、多神经元大规模网络进行学习来获得数据非线性及潜在结构化表达,推动计算机视觉飞速发展、在图像识别、异常检测等许多应用领域取得了突破性成果。单目标体追踪通过给定前一帧目标所在位置与形态信息判定当前帧该目标所在位置与形态,实现在视频图像序列中对所关注目标的追踪与定位,DNN的引入实现了追踪器从特定目标到通用目标、在线训练到完全离线训练的跨越式进步。但在实际应用中,面对复杂场景下的追踪任务仍然是亟需解决的挑战。经典DNN框架侧重于增强物体二维特征提取能力,以提高一般场景下的追踪性能。由于单一的二维特征不能应对来自周围环境的干扰,使其很难在复杂场景中工作。例如,光照急剧变化导致模型对追踪目标物体单一二维特征的非确定性。因此,根据目标物具有潜在的三维特征几何不变性原理,本文提出一种基于深度强化学习(Deep Reinforcement learning,DRL)的多特征融合目标追踪框架,使追踪器在面对复杂场景时提供更加稳健的追踪性能。同时,针对DRL算法数据利用率低与不稳定等特点,进一步优化所提出模型,获得更鲁棒的离线目标追踪方法。本文的主要工作如下:(1)在复杂场景的追踪任务中,传统追踪器侧重于获取追踪目标二维特征表达,导致模型对复杂场景中遮挡、光照等干扰敏感,产生追踪漂移现象。针对该问题,本文基于深度强化学习理论,生成目标体潜在三维信息,并融合二维特征实现具有鲁棒性的目标追踪能力。首先,构建深度强化生成器(Deep Reinforcement Generator,DRG),利用强化学习对时序性任务求解与离散采样数据中所具有的优势,挖掘目标与背景潜在三维信息;其次,通过建立潜在三维信息,与模型提取二维特征间的距离损失函数,及模型预测目标重叠度与真实标签值损失函数,优化生成类三维特征,保证目标真实性与可判别性;最终,训练双端网络,获得潜在三维信息并融合二维特征利用全连接神经网络实现目标判别。本文在现有的单目标体追踪流行基准OTB-50与OTB-100上验证了所提出模型有效性。(2)DRL算法执行过程中存在数据利用率低、训练时间长、性能不稳定等问题,源自于深度强化学习理论的探索式采样中应用的大部分环境均为奖励反馈稀疏环境(所采样交互信息只有极少部分含有非零反馈值)。异步优势演员评论家算法(Asynchronous Advantage Actor-critic,A3C)利用网络结构相同的多从属子智能体并行计算,主智能体参数异步更新的学习方式,构建并行DRL框架,实现智能体大规模复杂环境探索。极大的加速了DRL算法的训练过程。然而,其在最优策略探索中将产生求解高方差问题,使主智能体难以保证全局最优参数更新及最佳策略学习。本文提出紧凑异步优势演员评论家模型(Compact Asynchronous Advantage Actor-critic,Compact_A3C)实现A3C模型压缩及知识抽取,该模型冻结并评价A3C框架中所有子智能体学习效果,将评价结果转化为主智能体模型更新概率,保证全局最优策略获取,并提升大规模网络资源利用率。进一步,模型将更新后的主智能体作为“教师网络”,监督小规模“学生网络”的前期探索与最优化策略引导,构建线性衰减损失函数控制“教师网络”影响,鼓励“学生网络”对复杂环境自由探索,强化自主学习能力,有效实现大规模A3C模型知识抽取及网络压缩。本文在流行的Gym Classic Control与Atari 2600测试环境验证了所提出模型所具有的通用能力。同时,利用该模型改善原有的DRG,保证了性能浮动范围在3%的情况下,极大减少DRG阶段的训练时间并加强了训练过程的稳定性。
其他文献
目的:观察常规针刺联合傍针刺治疗肩周炎的临床疗效。方法:将98例肩周炎患者随机分为对照组和观察组,每组49例。对照组给予常规针刺治疗,观察组在对照组基础上给予傍针刺治疗,治疗5次为1个疗程,两组患者均治疗3个疗程。比较两组患者临床疗效及治疗前后视觉模拟评分法(VAS)评分。结果:观察组总有效率为95.92%(47/49),高于对照组的81.63%(40/49),差异有统计学意义(P<0.05)。治
期刊
随着我国知识经济的发展和产业结构转型升级的进行,文创产业越来越受到国家的重视。然而,与文创产业的快速发展形成鲜明对比的是其较为突出的融资困境。文创产业具有的“高风险、高收益、重创意、轻资产”特征使其较难获得传统金融部门的融资支持。值得注意的是,企业间的收购合并以及龙头企业的不断发展促进了内部资本市场的形成,为缓解企业受到的融资约束提供了思路。首先,对研究背景和研究意义进行阐述,梳理了关于融资约束理
学位
高光谱图像在林业检测、城市规划、产品质检、矿物学等领域起到至关重要的作用。相较于传统二维图像仅包含空间信息,高光谱图像分类可以获得更加详细的光谱信息,可以有效提升地物识别能力,提高分类精度。故通过特征提取方法可以实现对于空间信息和光谱信息的有效利用。然而,高光谱图像存在波段关联性高、空间结构复杂、数据高维性的问题,制约着分类能力的提升。本文从特征提取及像素点的局部信息为切入点,提出以下两种改进的分
学位
科技创新券政策是政府间接推动中小企业创新的一项新的支持政策,在中国各省市广泛实施,取得了良好的效果,对提高政府支持的有效性,促进产学研一体化具有十分重要的意义。与政府的直接补贴相比,科技创新券不仅起到了补贴的作用,还能促进企业和研究机构之间的合作,使资金更完整地流向创新活动。河北省从2016年开始实施创新券政策,但这一政策的实施对河北省的区域创新能力产生了怎样的影响,以及今后如何改进,需要对创新券
学位
未知多边形区域在线探索是计算几何学和机器人学中的热点研究问题。本文将机器人的可视区域限制为与其相邻的正方形单元格或六边形单元格,通过单元格将探索区域进行划分,进而将平面多边形区域探索问题转化为网格多边形探索问题,并针对该问题展开研究。针对简单平面正方形网格以及六边形网格多边形的在线探索问题,学术界尚未给出最优的探索策略,本文致力于给出针对该问题的最优探索算法,并给出算法的效率分析,具有较好的理论意
学位
信息化时代的到来催生了新一代教育实践的变革,引发了教学领域的一系列革新,对传统教学产生了颠覆性的影响。中职学校在我国职业教育体系中的地位日趋突出,中职信息技术学科也逐渐成为人们关注的焦点。由于信息技术学科的独特性与传统学科存在较大差异,单一的教学模式、传统的教学方法已经无法满足信息技术课堂的需要。目前,走在教育最前沿的专家与学者,积极探索新颖的教学技术手段,提出了“可视化教学”。本研究尝试将可视化
学位
随着人工智能时代的到来,编程人才需求急剧增长,各国家均开始重视编程人才的培养。中职学校作为培养应用型人才的前沿阵地,更要抓住编程人才培养的时代浪潮,注重编程类课程的教育教学效果以及人才培养质量。但是当前中职学校编程类课程仍有教学模式陈旧、教学过程单一、难以关注学生差异等多种问题。在智慧教育技术赋能和个性化教学蓬勃发展的时代,应充分利用现有智慧教育平台开展个性化教学,改善当前中职Python课程教学
学位
企业是经济运行的微观主体,其中中小微企业更是经济发展的“塔基”,在创造产出、吸纳就业和贡献税收方面发挥着重要作用。但目前由于金融资源错配问题,我国中小微企业普遍面临着“融资难,融资贵”等问题。因此解决金融资源错配问题,对于提高金融精准扶持中小微企业效果,实现金融服务企业发展的目标有重要意义。本文从规模视角下研究了我国金融资源错配对企业绩效特别是中小微企业绩效的影响。在对我国金融资源错配进行测度的基
学位
施工企业参与项目建设往往投入较多的现金,加强现金流管理是施工企业现代化管理的内在要求,其能在保证企业现金流稳定的基础上,实现企业成本和效益的统一。本文在阐述施工企业现金流管理价值的基础上,分析现金流管理的问题,指出在新时期的现金流管理中,需进行项目投资统筹规划,减少盲目投资造成的资金短缺问题,同时施工企业需要加强现金流管理,强化现金管理方法应用,并实施企业基础信息的系统管理,这样能提升现金流管理的
期刊
近年来,我国中小企业数量逐年增加,在市场经济中发挥着越来越重要的作用。但在其发展过程中,由于资产规模、财务制度等原因长期遭受融资约束。所以,越来越多的中小企业在融通资金时将目光从传统的交易型审批贷款转向了关系型贷款。因此本文在银企关系视角下对现金-现金流敏感模型进行创新,运用我国66家(中小板与主板合并前)中小企业板上市公司财务数据,围绕中小企业面临融资约束的现状与关系型贷款对中小企业融资约束的影
学位