基于卷积神经网络的零件识别及姿态估计

来源 :青岛理工大学 | 被引量 : 0次 | 上传用户:zhanagyuxing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着工业机器人应用的普及,工业生产的自动化水平不断提高,基于机器视觉的自动化装配、分拣在自动化工业生产中具有重要的应用前景。相较于传统的人工装配,基于工业机器人的自动化装配在高效性与稳定性等方面都具有显著的优势。对工业场景下的零件进行识别及姿态估计,在提高机器人装配、分拣等生产环节的自动化程度具有重要的意义。针对工业环境中零件识别效率低,姿态估计准确率不高以及大量训练集难以获取的问题,对基于深度学习的零件识别及姿态估计进行了研究,提出一种基于卷积神经网络与虚拟深度图像数据集的零件识别及姿态估计方法。首先使用OSG(Open Scene Graph)构建虚拟训练集,解决了大量训练集难以获取与标注的问题,然后采用卷积神经网络实现工业场景下零件的识别以及姿态估计,完成的主要工作如下:(1)构建了用于零件识别以及姿态估计的深度图像数据集,包括使用OSG生成的虚拟数据集与使用深度相机拍摄的真实数据集。使用OSG与物理引擎在虚拟场景内渲染得到大量杂乱场景虚拟深度图像数据集,并对各种零件在不同姿态角度下进行渲染得到的零件姿态估计虚拟深度图像数据集。真实数据集使用Kinect2.0深度相机采集零件深度图像并修复处理获得。(2)研究了基于卷积神经网络与虚拟训练集的零件识别方法。构建不同深度与结构的卷积神经网络模型并使用虚拟深度图像进行训练,训练完成后,使用真实数据集对网络模型进行测试并选择识别准确率更高的零件分类模型。实验证明,该方法使用虚拟训练集训练,实现了对真实零件的准确识别,同时使用深度图像对于零件反光和少纹理情况具有一定的鲁棒性。(3)研究了基于FSA-Net(Fine-Grained Structure Aggregation Network)的零件姿态估计方法。将头部姿态估计网络FSA-Net应用于工业零件姿态估计,首先对FSA-Net进行算法结构分析,然后通过实验分析了特征评分机制与细粒度结构映射对网络框架的影响,最后通过实验确定了姿态估计训练集的采样间隔,在控制训练集数量的同时又保证了姿态估计的角度,准确地实现了工业零件的姿态估计。在虚拟测试集上,零件姿态估计平均误差为1.92°,在真实测试集上,零件姿态估计平均误差为6.31°。(4)对基于全卷积神经网络(Fully Convolutional Networks,FCN)的杂乱场景零件分割方法进行了研究。构建全卷积网络模型用于杂乱场景的语义分割,实现了零件的像素级分类。在训练中通过调节超参数使模型的损失函数快速收敛,训练完成后,测试网络模型对杂乱场景的零件分割准确率,实验证明,在虚拟测试集上零件分割像素精度达到91.42%,在真实测试集上零件分割像素精度达到85.66%。(5)通过对杂乱场景分割模块与零件姿态估计模块的集成,搭建了杂乱场景零件位姿估计网络框架。首先对场景内的零件进行分割,利用分割结果对深度图像进行像素提取,然后进行定位与姿态估计。训练完成后,使用虚拟测试集与真实测试集分别测试该网络对杂乱场景下的零件识别及位姿估计精度。实验证明,本文所提出的零件杂乱场景位姿估计方法,可对场景内的零件进行准确分割及位姿估计,为工业自动化分拣装配提供稳定的信息基础。(6)研究了基于PVNet(Pixel-wise Voting Network)的杂乱场景零件位姿估计方法。首先通过深度相机采集杂乱场景深度图像与RGB图像,通过相机标定板标注零件与相机坐标的转换关系,然后利用采集的图像构造点云模型,通过点云模型生成分割掩码与位姿标签。训练集制备完成后通过对PVNet网络进行训练与测试,实现杂乱场景的零件位姿估计。
其他文献
可恢复功能结构近年来得到了较快的发展,带可更换耗能梁段结构作为可恢复功能结构的一种形式,兼备了震后可恢复及损伤位置可控的优势。当前,已有的带可更换耗能梁段结构的研究大多集中于节点抗震性能方面,鲜见关于带可更换耗能梁段钢框架结构的抗震性能、梁段可更换性及抗连续倒塌性能方面的研究。本文针对现阶段存在的问题,设计了翼缘削弱型和腹板开孔型带可更换耗能梁段的梁柱节点。一方面,梁柱节点可更换梁段采用低屈服点钢
本文采用文献查阅、数理统计、归纳总结、数值分析等方法对曲中墙连拱隧道衬砌背后空洞存在条件下衬砌结构力学特性进行了系统研究。首先,对曲中墙连拱隧道衬砌病害分布特征进行了统计分析,基于此,建立三维有限元模型对空洞存在条件下隧道结构力学特性进行了分析,并采用扩展有限元方法就空洞影响下连拱隧道衬砌结构裂损规律进行了研究,主要结论如下:(1)统计分析了曲中墙连拱隧道衬砌裂缝、渗漏水,及衬砌背后空洞等病害分布
针对42Cr Mo钢熔覆层加工,本文提出面向少余量加工的多道激光熔覆工艺与方法,采用理论分析、有限元仿真及实验法对所提出的工艺进行分析与验证。通过建立单道激光熔覆过程熔覆层温度变化理论模型,获取熔覆层温度变化趋势,利用有限元仿真软件计算多道熔覆过程中熔覆层的温度,通过热力耦合计算熔覆层的残余应力分布。进行不同搭接率的多道熔覆实验,并对制备的熔覆层进行宏观形貌、微观形貌、元素分布和显微硬度及摩擦磨损
腐殖质(humic substances,HS)是由动植物残体经过复杂的物理、化学和生物降解过程形成的化学性质复杂的有机混合物,其广泛存在于大气、土壤、水体和沉积物等环境介质中。腐殖酸(humic acid,HA)是构成HS的重要组分之一,结构主要由疏水部分(主要为烃链)和亲水部分(主要由离子基团如羧酸和非离子极性部分如酚、醇、醛、酮、酰胺、胺等)组成,是环境中污染物的主要络合剂或吸附剂。在高浓度
伴随中国人口老龄化程度的日趋加深,老年群体的养老模式与居住问题成为社会普遍关注的焦点。其中,城市住区型养老建筑的外部空间设计与老年人对外部空间的实际使用之间存在着较为明显的差距,是亟待解决的重要社会问题之一。本文通过引入交互的理念,将空间与行为的互动关系作为研究核心,对城市住区型养老建筑外部空间的交互构成要素进行分析,并基于老年群体的生理机能、行为特征与心理感知等特性,在实际项目中对客体要素进行有
为提高轴承等机械元件的使用寿命,常常在其摩擦副间添加油、水等流体进行润滑,而当润滑膜厚度过大或过小时都会引起润滑质量下降,因此需要对膜厚进行测量。目前常用的膜厚测量方法主要有电学法、电磁法、光学法和超声波法等,相比于前三种方法,非侵入性的超声波法具有更好的工业适用性。然而,应用超声法测量膜厚之前需要对超声波探头的测量精度及测量范围进行标定,但目前关于超声测量的标定装置研究较少且仅有的装置也存在量程
随着社会的不断进步与发展,人类社会已然成为一个集综合性与复杂性于一体的群体结构,其中作为弱势群体的盲人占据较大的比重。由于受到自身生理上的缺陷与外界环境的影响,盲人群体更喜欢居家的生活方式,拒绝外出活动,因此他们能够自由活动的空间相对减少,生活也变得单调乏味,甚至是心理上的承受能力也大大被削弱,外出活动成为盲人既期待又害怕的事情。为了满足盲人无障碍出行的需求,追求无障碍设计成为了新时代的一种发展趋
随着人口的迅速增长、城镇化进程的加快及工农业的迅速发展,水环境由于氮、磷污染导致水体富营养化问题日益突出。为解决水环境污染问题,国家与地方在加强污水处理的同时,对城镇污水处理厂污水排放标准的要求也日趋严格,但以传统活性污泥法为主的污水生物脱氮处理技术普遍存在运行能耗高、处理稳定性差等缺点,且已有研究表明在生物脱氮过程中会产生一定量的氧化亚氮(N2O)与一氧化氮(NO)中间产物,尤其N2O作为六种主
学位
人防工程作为城市中重要的防护结构,对于提升城市保障能力具有重要意义。人防工程主要为地下工程,除了承受土压力等静荷载作用外,主要用于抵抗战时受到的冲击、爆炸等动态荷载。目前,修建人防工程的主要材料为混凝土,具有抗压性能优越、抗拉性能差、易开裂等特点,在一定程度上影响了人防工程的整体抗力。纤维增强混凝土(Fiber Reinforced Concrete,简称FRC)作为近年来新出现的一种材料,纤维依