基于CNN的双目立体视觉三维实时重建算法研究

来源 :沈阳工业大学 | 被引量 : 0次 | 上传用户:J082214
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器视觉是生物医学工程领域广泛关注的热点问题。模拟人类双目感知原理的双目立体视觉技术已成为机器视觉的重要研究分支。双目立体视觉在医用手术机器人、无人驾驶等领域具有重要的应用价值。双目立体视觉中传统的稠密立体匹配算法在计算过程中产生海量数据,速度慢,难以应用于实时三维重建;稀疏立体匹配算法计算速度快,但匹配效果差,对噪声敏感。为在一定程度克服上述问题,本研究将卷积神经网络技术引入立体匹配算法对精度与速度进行提升,实现低成本三维实时重建。首先,使用张正友棋盘标定法对双目相机进行标定。可同时采集两张图像的USB接口双目相机是本研究的硬件基础,但制造过程所形成的光学畸变会严重影响匹配结果。为此,分析了相机成像数学模型和常见的相机标定算法,采用基于MATLAB工具箱的张氏标定法标定了本研究所使用的双目相机,经过特征点提取及迭代计算得到双目相机内参数和外参数,为后续研究做好基础。然后,针对传统匹配算法精度低且耗时的问题,设计了基于卷积神经网络的匹配代价算法。良好的软件平台可加速算法的设计和验证过程。因此,配置了win7系统的vs2013开发环境下的OpenCV3.3.0机器视觉开发库,搭建了Ubuntu16.04系统下的卷积神经网络框架Caffe。利用KITTI数据集中具有真实视差的图像对,构建大量小块图像对正负样本数据集,设计了孪生卷积神经网络结构并设定了各层参数,训练网络模型计算图像对匹配代价。最后,采用半全局匹配算法进行代价聚合、Winner-Take-All策略寻找最优对应点,使用左右一致性检查算法解决因物体遮挡造成匹配点缺失的问题,并通过平滑滤波对视差图进一步优化,获得最终视差图。高精度视差图结合三角测量原理,获取人颅骨模型及大脑解剖模型的3D点云数据并进行三维重建。实验结果证明了基于孪生卷积神经网络模型的立体匹配算法对提升匹配精度和速度的有效性和可行性,初步实现实时的双目立体视觉三维重建。
其他文献
<正>药品质量的好坏直接影响人民群众的生命健康,药品质量与其储存养护有着很大的关系。影响药品质量的外界因素很多,如温度、湿度、日光、空气、时间、微生物、包装容器等。
<正> 在新泽西州北部的一个实验室,研究人员在分子水平上探索着错综复杂的记忆过程,希望研制出用于大脑的“伟哥”——一种可以使处于衰退状态的器官恢复青春活力的化学药物
2012年的国际安全形势的基本特征是"热点多、挑战大和应对难",众多传统安全问题与非传统安全问题呈并发态势。诸多领域的大变革和大调整引发了许多现实安全问题和安全隐患,一
<正> 语录两则“河出图,洛出书。圣人则之(而立易)”; “道可道,非常道;名可名,非常名;(数可数,非常数)”。诗一首阴阳虚实太极中,宇宙易化变无穷; 天演地适人竞道,三才谐振
企业是技术创新主体,专利是技术创新的重要产出。因此,专利资产是企业重要的战略性资产,有效的专利管理是企业知识管理的重要组成。本文比较了当前国外企业专利管理的几种基
优秀的师范校园文化,对现代实现全面、全过程、全方位等“三全”育人,完成引领文化、服务社会等职能任务具有十分重要的意义。师范院校要想在激烈的竞争中求得更好的生存和发
我国《物权法》对于抵押物的转让,一直是采取严格限制的态度,在物权法中的191条规定了未经抵押权人同意不得转让抵押物,此规定赋予了抵押权强大的排他效力;在《担保法》的49
改革开放的30余年间,随着我国对外开放程度的扩大,我国在全球生产和贸易中也承担着越来越重要的角色。截止2011年,我国进出口总额首次突破3万亿美元的贸易大关,实现36420亿美
随着现代科学技术的迅速发展,对数控加工中心的抗振性提出了更高的要求,其中一个重要发展方向是使用新型材料制作机床床身以提高机床的抗振性。树脂矿物复合材料具有优良阻尼
本文是关于Residential Tenancy Act (British Columbia, Canada)的翻译报告。原文是加拿大不列颠哥伦比亚省(加拿大B.C.省)2002年颁布的一部关于住房租赁的法律,翻译内容属