面向远程环境目标感知的视觉跟踪与深度估计算法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:soiney
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在我国多发自然灾害和事故灾难的情况下,为了保证救援人员的人身安全,发展远程无人操作平台是面向应急救灾安全保障的新需求。为了向操作员提供准确的远程环境感知能力,基于计算机视觉手段提取远程环境中各类目标物的方位、姿态、深度等信息,可以规避潜在危险并实现直观精细地操作辅助。针对远程场景中的目标深度感知需求,本文从视觉目标跟踪和双目立体深度估计两个方向研究了计算机视觉理论算法,取得了一定的理论研究成果,并设计了一种算法实施方案。近年来,基于传统数学模型的视觉跟踪方法和基于深度神经网络的立体匹配方法得到了研究人员的广泛关注和持续跟进。一方面,复杂环境中随时间变化的目标形态和目标外观对现有跟踪算法提出的挑战仍然存在,如何挖掘目标局部稳定外观特征,实现快速准确的视觉跟踪仍然需要深入研究。另一方面,最新的立体匹配算法通过设计复杂的深度神经网络结构来降低匹配误差,但无法实时输出高分辨率深度图。如何通过简化创新网络结构来提高立体匹配算法推理效率,并对深度图中的边缘等精细结构实现准确预测,面向实用化改进立体匹配网络仍是难点问题。本文首先完整地回顾总结了基于稀疏表示模型和基于相关滤波模型的视觉跟踪方法中的数学模型和算法思想,概括了基于深度神经网络的立体匹配方法的主要发展历程,然后分别提出了两种准确的目标跟踪算法以及两种轻量的立体匹配网络。在所提出的跟踪算法中,一定程度探索了稀疏表征思想和相关滤波思想的结合。在所提出的立体匹配算法中,则探讨了输入高分辨率彩色图的边缘纹理和预测视差图的视差边缘之间的映射关系。主要工作可以分为以下四点:(1)针对现有基于正向稀疏表示模型的目标跟踪算法中特征提取和编码过程的冗余重复问题,提出了一种基于循环反向稀疏模型的实时稀疏表示跟踪算法。该算法基于反向稀疏表示模型,使用由循环移位算子生成的候选目标样本集合作为稀疏字典,对目标模板进行稀疏编码。由于只对目标模板反向求解稀疏编码,并且将包含循环移位目标候选特征集合的优化式转换到频域求解,所提出的算法优化过程十分高效。相比经典的稀疏表示跟踪算法,综合性能表现更好,运行速度也大大加快。(2)针对现有基于鉴别相关滤波的目标跟踪算法忽略目标内部局部空间结构信息的问题,提出了一种基于空间树形结构的稀疏正则化相关滤波跟踪算法。该算法将表达目标内部空间层次化结构的组稀疏正则化项引入相关滤波目标优化式中,来对不同层次的局部滤波器分组施加正则化约束,以表达目标不同空间位置上局部外观特征与期望响应之间的关系。对于优化过程中的关键步骤,基于循环矩阵的性质将其转换到频域中以方便快速地求解。相比基于整体模型的相关滤波跟踪算法,所提出的基于局部空间结构的跟踪算法各项性能指标更好。(3)针对现有端到端立体匹配网络模型的视差上采样结构速度较慢,对边缘等精细结构不能有效预测的问题,提出了一种改进的端到端立体匹配网络模型。在所提出的网络模型中,主要研究了视差上采样细化阶段的局部自适应感知卷积结构和相关的损失函数。基于这种共享卷积结构,探索了不同上采样阶段图像强度像素与视差像素之间的语义联系,通过训练过程中卷积权重的梯度更新来自适应地感知预测视差图中的深度不连续边缘。实验表明,所提出的立体匹配网络中视差上采样结构相比直接级联强度特征和视差特征的上采样结构更为有效,且该立体匹配网络具有良好的预测精度和速度。(4)针对现有的立体匹配网络模型推理效率较低的实际问题,提出了一种有效结合低分辨率视差估计和超分辨率子网的深度立体匹配网络结构。该结构以降低卷积层的操作分辨率为原则,构建较低分辨率的匹配代价体,并执行低分辨率水平上的代价聚合和视差回归,从而快速获得初始视差图。然后使用所提出的超分辨率子网完成快速地视差图逐级上采样,并在上采样的同时进行高频信息补充与视差噪声细化。与最新的端到端立体匹配网络相比,所提出的新模型具有较高的预测精度和更快的预测推理速度。综上所述,本文对计算机视觉领域两个核心方向,视觉跟踪和立体匹配,开展了算法研究,为无人工程机械的远程环境视觉感知应用提供了算法理论方面的技术支撑。最后,为实际应用提供了系统方案设计思路和相关仿真实验。
其他文献
背景:随着疾病谱的变化,风湿性心脏瓣膜性房颤的发病率逐年下降,非瓣膜性房颤(atrial fibrillation,AF)引起的缺血性脑卒中受到越来越多的重视,研究AF相关脑卒中的危险因素并
潮白河再生水受水区水质监测结果表明,再生水回用于河道后存在pH异常升高及其它一些水质指标明显变化的特征。本文采用黑白瓶法、N2:Ar膜进样质谱法、静态箱-气相色谱法分别
目的以延边朝鲜族正常成年人下腰椎椎间孔X线参数为研究对象,行测量及对比,为不同地区民族人种提供经椎间孔入路脊柱内镜治疗下手术相关的数据。方法选取符合测量标准的106例朝鲜族正常成年人的腰椎X线正侧位,其中男性54例,女性52例,以下腰椎椎间孔的高度、宽度、椎间隙高度、上关节突至上位腰椎椎弓根下缘距离和上关节突至上位椎体后缘距离参数为测量对象,在计算机阅片测量软件上对男女下腰椎椎间孔参数测量并行统计
为了应对复杂多变的电磁环境,实现更高速率信息传输的同时满足通信系统对低截获、低检测和抗干扰能力的需求,切普扩频(Chirp Spread Spectrum,CSS)通信技术被提出用来替代单
本文以机车转向架构架为工程应用背景,开展相应的典型焊接接头残余应力的研究。转向架构架为焊接结构,是轨道车辆的关键承载和传力构件,其焊接质量对列车的安全行驶至关重要。焊接过程不可避免地会形成残余应力,该残余应力的存在会降低构架的承载能力、影响其疲劳寿命。开展焊接接头残余应力调控技术研究,能有效地降低残余应力峰值、提高接头焊接质量,对提高构架的承载能力和服役安全性具有重要的工程应用价值。为了快速建立更
新时代的背景下,人们的精神生活与物质需求日益提高,因此纪念性园林在现代城市发展建设中扮演着必不可少的作用,这种变化必然导致纪念性园林景观和数量逐渐增加,院士纪念园固然也不例外。院士纪念园景观环境的提升对城市人文环境以及生态环境都具有极大的影响。其建设发展作为现今城市主体建设的尤为关键的构成部分,人们不再满足于基础的休闲游憩功能,在注重景观美观和舒适的同时更注重精神文化方面的塑造和提升以及纪念主题的
近几年,政府部门为了顺应新媒体的发展潮流,将短视频作为政务管理的重要方式,也成为必然的发展趋势。因此,政务短视频呈现出前所未有的井喷式发展状态,并引起越来越多学界的关注。本文基于“5W”理论,对政务短视频进行实例分析。从传播主体、传播受众、传播渠道、传播内容、传播效果等方面深入、系统的研究。特别是对政务短视频的受众、内容与传播效果做了全面的观察和分析,探讨其在传播中的优势与不足,并提出相应的建议,
纳孜尔库姆是流传在吐鲁番、鄯善、哈密一种民间艺术形式,是构成吐鲁番木卡姆文化的一个重要组成部分,在婚礼宴会、喜庆节日和晚会中最精彩的表演。在表演过程中以《吐鲁番木卡姆》的伴奏乐器和唱词为伴奏,过去的歌词多是描写爱情的,也有些是揭露地主、伯克的昏庸荒淫、贫婪残暴的,但一般歌唱的歌词与表演内容无关,它常常出现在赛乃姆之后或吐鲁番木卡姆后面进行表演展示。纳孜尔库姆在过去大部分是由男性来即兴跳舞,分为两部
弓形虫病是一种危害严重的人畜共患性寄生虫疾病,其防治方法一直是医学及兽医学研究的热点课题。桦褐孔菌多糖(IOP)作为传统中药桦褐孔菌的主要活性成分,具有广泛的药理作用。本实验室前期研究表明,IOP对弓形虫感染的小鼠体内模型及巨噬细胞体外模型均具有显著的抗弓形虫活性。为进一步完善IOP体外抗弓形虫作用及其机制,本研究选用小鼠脾淋巴细胞作为试验对象,建立弓形虫感染体外模型,观察小鼠脾淋巴细胞炎性因子和
中国学生发展核心素养以“全面发展的人”为核心,指学生应具备的、能够适应终身发展和社会发展需要的必备品格和关键能力。核心素养的落实与学科教学息息相关。生物学科的内容就是研究生命现象及规律,生物学科核心素养把“生命观念”摆在首位,这凸显了生物科学与众不同的育人价值。生命观念比较抽象,犹如“空中楼阁”,在日常教学过程中急需落地,结构与功能观是生命观念中最基本的观点之一,包括“结构观”“功能观”“结构与功