基于CGAN的立体匹配算法研究

来源 :沈阳工业大学 | 被引量 : 0次 | 上传用户:glei66
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
双目立体视觉广泛应用在自动驾驶、增强现实、人脸识别、三维重建和军事侦察等众多方向中,目的是获取场景中的深度信息。立体匹配的原理是通过对立体图像对中的匹配点进行计算从而得到相应的视差值。因为获取到的视差值根据三角测量原理可以恢复场景深度,所以立体匹配是双目立体视觉系统的核心。但是,立体匹配任务对于图像中的遮挡、深度不连续、光照不均匀、弱纹理以及重复纹理区域存在误匹配率较高的问题,导致视差预测的准确度下降。近些年来,深度学习在诸多计算机视觉任务中取得显著成果,它擅长取全局特征和上下文信息的特点对于立体匹配的研究非常关键,所以基于深度学习的立体匹配研究逐渐成为焦点。由于立体匹配通常以视差图的形式表示得到的视差值,因此受到了图像到图像翻译任务的启发,本文出了一种基于条件生成对抗网络(Conditional Generative Adversarial Nets,CGAN)的端到端立体匹配算法,目的是将立体图像对转换为视差图。CGAN由生成器网络和判别器网络构成,生成器网络的任务是生成贴近真实值的视差图,判别器网络的任务是鉴别输入的视差图来自于生成样本还是真实样本。在构建CGAN的详细结构时,生成器网络采用了pseudo-Siamese网络和U-Net。其中,pseudo-Siamese网络从立体图像对中取到的特征代替原始像素供给U-Net来学习,以便减轻网络的学习压力。U-Net是具有跳跃连接的编码器和解码器网络,跳跃连接可以防止下采样过程中低层语义信息的丢失,有效融合低层语义特征与高层语义特征,在生成视差图时降低视差预测的误匹配率。判别器网络借鉴了经典的图像分类网络结构,通过卷积神经网络对输入进来的视差图进行鉴别。而生成器网络和判别器网络共享的条件设置为pseudo-Siamese网络取到的特征,能够降低平均误差值和减少参数量。关于损失函数方面,将原始的CGAN损失函数与传统的∠1损失函数相结合用于训练网络。本文先利用Scene Flow数据集对网络结构作出分析与调整以得到效果较好的网络模型,最终在Middlebury测试平台上进行评估,并且与该平台排行榜上的其它算法相对比。结果表明本文出的算法能够在保证运行时间的同时,降低误匹配率和平均误差值,有效高视差预测的准确度。
其他文献
混合现实技术是继虚拟现实、增强现实之后出现的新型数字全息影像技术,能够带给用户良好的沉浸式交互体验。国家工业和信息化部在《关于加快推进虚拟现实产业发展的指导意见》指出我国要推动包含混合现实技术在内的虚拟现实应用创新,为信息产业培育新动能。“VR+健康”是其推进的重点行业应用之一。世界卫生组织数据统计结果显示,目前脑卒中已成为了世界第三大治病死因。由于粥样硬化等原因引起的颈动脉狭窄,会导致心脏输送到
学位
当前工业控制领域的生产需要和日新月异的高科技发展带来了工业智能化新时代,5G网络以大带宽、低时延特点为工业控制系统传输大量高实时数据提供了可能。面向工业领域的5G超可靠低时延通信(URLLC)是在原有增强移动宽带(e MBB)的基础上进一步降低了传输时延,理想状态下一个数据的传输时延最小可为5ms,已可应用于许多工业控制系统中。但实际应用中5G网络需同时传输多个控制子系统的数据,多个数据间的资源竞
学位
在协同智能交通系统(Collaborative Intelligent Transportation System,C-ITS)中,车辆间交互携带有速度、位置和身份等信息的协同意识信息(Collaborative Awareness Messages,CAMs)以获得交通服务,但CAMs通常以明文的形式在不安全的网络上进行广播,很容易被恶意人员窃听或截获,并从中分析出用户的敏感信息。由于C-ITS
学位
近年来,越来越多的服务设备被广泛部署在公共场所以提供相应的服务,减少了人力成本。技术的提高和人们生活观念的转变,对服务设备的智能化提出了更高的要求。目前,服务设备主要采用传统的反应式交互的方式,只能在用户发起操作后再提供相应的反应。为了进一步吸引用户,提高服务设备的使用率,提供给用户更自然、人性化的交互体验,需要在“交互前”阶段根据行人的行为状态,识别并理解用户的意图以发起设备的主动交互。本文针对
学位
<正>幼儿早期阅读是指儿童进入正式学习文字之前,有关语言、读写与符号的活动,早期阅读也越来越受到学校和家庭的重视,认为是孩子认识世界的开端。《幼儿园教育指导纲要(试行)》中也提出"喜欢听故事,看图书"的目标,并特别要求:利用图书、绘画和其他多种方式,引发幼儿对书籍、阅读和书写的兴趣,培养前阅读和前书写的技能。要达到这些要求和目标,光靠在幼儿园对孩子进行早期阅
期刊
黑烟尾气不仅影响空气质量,更危害人体健康,对道路上高排放、高污染的黑烟车进行管控具有非常重要的意义。采用基于计算机视觉的智能黑烟车识别方法相较于传统人工筛查和传感器监测方法可以有效减少人力和物力的消耗,保持识别过程的客观性和公正性,具有广阔的应用前景。本文对黑烟车尾部排烟区域定位算法和黑烟多特征融合算法进行研究,具体工作如下。为了减少路面和车体等干扰信息对特征提取的影响,结合三帧差分法与累积概率霍
学位
双目立体视觉技术是计算机视觉中的一个主要的研究方向,被广泛应用在自动驾驶、三维重建等领域中。其中双目立体匹配方法的精确性对立体视觉的效果有直接的影响,因此提高双目立体匹配中匹配精度对促进双目立体视觉的发展有着十分重要的意义。在双目立体匹配过程中,对于图像中的视差不连续区域、弱纹理区域、边缘处以及被遮挡的区域,相比于其它区域,这些区域的像素更容易产生误匹配。为了提高双目立体匹配精度,将视差注意力机制
学位
随着芯片上集成的晶体管数量越来越庞大,功能模块数量持续增长,对片上网络的性能要求也随之提高。路由器作为片上网络的关键部件,直接决定了片上网络的功耗和延迟。传统的虚拟信道路由虽具有低延迟的优点,但其路由微组件较多,当片上网络中的路由器数量随着核数量一同增长时将会消耗大量的电能,如何严格控制路由的能耗已成为芯片设计人员亟待解决的关键问题。为了设计出更高能效比的片上网络,本文以存内计算技术为灵感提出了存
学位
<正>从广义上讲,站桩包括在精神境界和体能上的自我修炼。狭义上论,内练一口气,外练筋、骨、皮。一、心性修炼站桩耗劲练意志,修身炼精化气,气化神,神还虚,不仅练出内功,还可使心理到生理发生质变,面对现实,平静而不冷淡,热忱而不奔放,不为物喜,不为己悲,舍己从人又不随波逐流,努力按理智做事,成为常态。有
期刊
针对大学英语口语教学中学生学习动机不强、口语交流机会少的问题,构建了基于信息技术的大学英语口语混合式教学模式。大学英语口语课前学生线上预习,课中线下教学和信息技术深度融合,课下线上学习,参加第二英语课堂,进行拓展学习,实现了大学英语口语线上学习与线下教学的有效混合,口语教学与信息技术的深度融合。
期刊