基于单幅图像的三维网格重建

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:hbzjl001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
从图像中重建物体一直是计算机视觉领域中一项重要的工作,这项工作主要根据输入的单幅或多幅图像,利用神经网络建模出它的三维物体形状。目前建模物体的三维表示方法主要有体素、点云和网格。网格因为占用内存空间小、表面具有连接性等优点成为一种被广泛使用的表示方法。从单幅图像中恢复出物体的三维网格形状是一项极具挑战性的任务。因为二维图像会丢失物体的深度信息,单幅图像建模物体,恢复物体看不见的部分是一件困难的事。目前存在许多方法研究从图像重建三维物体,这些方法存在无法保持物体尖锐特征的问题。使用图卷积神经网络(graph convolutional neural network,GCNN)重建三维网格,可以将当前点特征与邻域点特征的加权和作为卷积后的特征,多次卷积后的特征对更大邻域信息的获取是有用的,但是对于尖锐特征点,卷积后的特征会被周围点过度光滑。为解决这个问题,本文基于神经网络,针对输入的单幅图像提出两种有效的保特征三维网格生成方法。首先对单幅输入图像使用VGG-16提取图像特征,特别设计了图像边缘检测层获取物体的尖锐特征;再把三维网格(初始为椭球)的顶点投影到特征图和边缘检测图上,获得顶点局部特征,并判断其是否为尖锐特征点,另一个方案计算当前顶点法向和邻接点的法向夹角,判断是否为尖锐特征点;然后把局部特征和顶点位置串联输入到改进的GCNN,对于非尖锐特征点采用普通GCNN,对检测到的尖锐特征点采用0邻域图卷积神经网络(0-neighborhood GCNN,0N-GCNN),以期其尽量不被邻域顶点过度光滑,GCNN的输出预测了顶点的新位置和三维特征;对网格的顶点及特征用Loop细分上采样。实验中采用三次上述变形(二维特征投影、尖锐特征检测、GCNN变形、上采样)后,初始椭球最终变形为输入图像中物体模样。实验使用Shape Net数据集,在Py Torch框架下实现,从定性和定量两方面和现有方法进行了比较。实验结果表明在Chamfer距离和F-score两类定量指标上均优于大部分现有方法,Chamfer距离和F-score的均值表现为最优。视觉比较也表明有效提升了特征保持性能。
其他文献
数字岩心重建技术可以在孔隙尺度上描述岩石的微观结构,已经成为定量分析岩石物理特性和孔隙分布、模拟纳米孔内流体流动的关键。数字岩心是孔隙级微观渗流理论研究的基础平台,能够可视化和定量化岩心样本并有效描述储层岩石孔隙空间情况、研究储层内部的流体运移机制。传统的数字岩心建模数值重构方法如多点地质统计法、模拟退火法等,重构时间长,效率低,对岩心样本的要求高。而生成对抗网络(GAN)作为一种新的数值重建法,
学位
可展曲面可以在没有伸缩和撕裂的状态下展开到一个平面上,在建筑业和产品制造等领域具有广泛的应用,因此可展曲面的构造方法一直是曲面几何设计领域学者们重视的问题。在微分几何中,测地线、渐近线、曲率线是曲面上三类重要的内蕴几何特征线,它们在整体或者局部上影响着曲面的性质,因此由给定的一条具有内蕴几何特征的特征线来逆向设计所需参数曲面束是新兴的研究热点。在欧式空间中,关于插值特征线构造可展曲面的研究有很多,
学位
我国有庞大的听障人士群体,手语是他们与外界沟通交流的主要渠道。如何从手语手势动作中识别听障人士想表达的内容,是减少听障人士和健全人之间沟通障碍的关键。目前的手语手势识别方法有一些局限。如,只用单一模态的信号采集手语手势,无法获取手势动作中的全部信息;只关注手语手势动作所代表的语义信息,而忽略了听障人士手语动作中反映的情绪状态;由于手语使用对象和语境的变化,导致缺乏跨域的泛化性,在新数据集中模型识别
学位
语义分割问题是当前计算机视觉研究的重要且前沿性的课题。近年来,伴随着卷积神经网络理论的不断发展和广泛应用,以及计算机高性能计算单元的进步,基于深度学习的语义分割算法逐步走进人们的视野中,并在自动驾驶、机器人、医学图像处理、地理图像信息系统等领域发挥了重要作用。语义分割通常分为高精度的语义分割和实时的语义分割,两者的区别在于处理图像的速度和精度上的侧重点不一样。语义分割是一种密集预测任务,旨在为图像
学位
本项目旨在解决建筑节能减排领域面临的多重难题,如建筑光伏大规模接入并网难、电梯发电利用难造成巨大浪费、电动汽车充电需求的冲击、建筑用电电力系统扩容难等。通过自主研发绿色建筑微电网规划设计和节能控制关键技术,实现区域建筑的低碳规划设计,并研制出建筑微电网及智能化网络控制成套自主装备,将光伏发电、电梯发电、电动汽车充电等进行多目标柔性控制,实现绿色建筑节能低碳。该项目具有新颖性,并具有重要的实际应用和
期刊
参数曲线的奇拐点及凸性分布是曲线曲面造型技术的重要研究内容。其中,含参Bézier曲线是计算机辅助几何设计和计算机图形学中一种有用的建模工具。首先,基于伯恩斯坦多项式理论,对于新型q-Bézier曲线,利用包络和拓扑映射的方法,分析了三次q-Bézier曲线的几何性质。推导出曲线具有一个或两个拐点、一个重结点或一个尖点、局部或全局凸的充分必要条件。这些条件完全由参数q和控制多边形边向量的相对位置来
学位
综合能源系统(IES)是能源互联网的具体实现,是提升能源利用效率、提高可再生能源消纳、降低碳排放的有效手段。综合能源系统通过优化配置各种互补性、灵活性资源,在源—网—荷—储环节实现电、气、冷和热等多种能源的低碳高效利用。对“双碳”目标下综合能源系统的关键技术进行评述,在分析综合能源系统碳减排潜力的基础上,梳理其碳减排途径、建模、规划和优化运行等关键技术,指出其适用场景与局限性,并对其发展方向进行展
期刊
贵州省六盘水煤田煤矿瓦斯灾害极为严重,"先抽后建"方案是以煤层气地面井抽采技术为瓦斯治理措施。以大河边向斜地区为研究对象,在分析该区地质背景、煤储层参数基础上,借鉴已施工煤层气井的经验,为解决11#煤层P41108运巷瓦斯突出问题优化设计适合该区地质条件的煤层气多分支水平井钻井工艺技术。主要从2个方面进行研究:井身类型选型、轨迹设计。本次设计为今后煤层气多分支水平井实施提供了一定的技术参考。
期刊
为规范人才培养过程,加快培养复合型技术技能人才,以“1+X”证书制度试点为背景,以安徽国防科技职业学院工业机器人技术专业人才培养模式改革与实践为例,将“1+X”工业机器人应用编程职业技能等级证书的技能标准与学历证书对应的专业、课程、师资建设等方面内容有机融合,实现岗课赛证互联互通。通过改革人才培养模式、实施“1+X”证书制度试点、组建专业订单班、深化校企合作、加强团队师资建设等方式,提升了教学效果
期刊
近年来,随着遥感应用的不断深入,高光谱图像研究已经成为遥感领域研究热点之一。与其他传统成像技术相比,高光谱图像具有更多的光谱信息和更高的光谱分辨率,因此,在农业、军事、环境监测和食品工业中有着广泛的应用。然而,由于成像系统和环境等各种限制因素(传感器敏感度、光子效应、光线条件、校对误差等)的影响,成像传感器获取的高光谱图像不可避免地会受到各种噪声的破坏,例如高斯噪声、脉冲噪声、死线、条纹等。这些噪
学位