基于分割和深度补全的透明对象视觉检测及抓取系统研究与实现

被引量 : 0次 | 上传用户:yaodmangrady
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着人工智能等技术的高速发展,机器人和人工智能的交叉使得机器人的发展进入了关键时期。机器人的应用领域不断拓展,从传统的工业场景向各行各业发展,得到了广泛的应用。实验室机器人、医疗机器人、物流机器人等也已经出现并逐渐进入人们的视野。无人实验室是一种智能化的实验室,能够自动完成实验室的各种操作和管理任务,提高实验数据的精度和实验结果的可靠性。作为无人实验室中的重要设备,机器人能够完成实验室中的很多工作。然而,传统的视觉检测技术无法对透明物体进行正确识别,这为机器人在无人实验室中的实验带来了很大的困难。因此,需要一种新的视觉检测技术,以便在无人实验室中对透明物体进行检测和抓取。本文的研究内容主要包括:本文提出了一个三阶段方法,以进一步提高对透明物体的视觉检测和深度数据获取。该方法利用RGB信息和RGB-D信息进行透明物体语义分割和深度补全。在第一阶段,本文使用CNN-Transformer混合的神经网络和边界优化,对透明对象进行准确的语义分割。在第二阶段,进行表面法线预测和边界遮挡检测,以用于后续透明对象深度数据的重建。在第三阶段,基于第一阶段的语义分割结果,去除透明对象区域的深度数据,然后使用第二阶段获取的结果,对去除的深度数据进行重建,以得到更可靠的深度数据。得到深度数据后,利用深度数据和相机内参,推导出目标相对于相机的空间位置,再利用得到的空间位置和相机外参,推导出目标相对于机械臂基座的空间位置,使用计算得出的位置信息,使用ROS机器人操作系统中的Move It算法,完成机械臂抓取物体时的路径规划,最终实现实验室中机械臂在视觉引导下对于透明物体的闭环抓取操作。在上面的基础上,进行各个功能模块中的功能性需求和非功能性需求分析以及可行性分析,通过系统各部分的设计,之后利用各项编程技术,完成系统页面的搭建,完成视觉算法和机械臂算法的实现,最终形成面向透明物体的视觉检测及抓取系统。系统实现后,对系统进行了功能测试,确保了系统的稳定运行。
其他文献
为深入研究浅海输气管道坠物碰撞损伤过程,从简化解析法和数值分析法2个角度对浅海输气管道坠物碰撞损伤过程进行动力响应分析。在简化解析法中,采用非完全弹性碰撞理论-动量守恒定律计算方法,计算坠物冲击荷载;依据布辛尼克斯法分析冲击荷载在土体中的传递,采用衰减系数分析冲击荷载在混凝土层中的传递,进而计算管道在坠物冲击荷载作用下的内力。在数值分析法中,用Workbench LS-DYNA有限元软件模拟浅海输
期刊
随着无线通信技术的发展,雷达和通信频段逐渐相互重叠,使得雷达通信一体化成为了缓解频谱资源紧张的最好的实现方法之一。作为雷达通信一体化的主要载体之一,正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)的波形设计方法可分为两大类,一类是复用波形设计,另一类是共用波形设计。由于共用波形设计需要考虑雷达和通信性能之间的折中,且在雷达信号处理过程和
期刊
目的:分析中药桃红四物汤加减熏蒸辅助治疗肋骨骨折的效果。方法:选取2021年1月-2022年1月梅州市中医医院收治的80例肋骨骨折患者作为研究对象,随机分为手术组和中医组,各40例。手术组采用常规手术治疗,中医组采用常规手术联合中药桃红四物汤加减熏蒸辅助治疗,对比两组临床疗效及各阶段的疼痛评分。结果:中医组治疗总有效率高于手术组,差异有统计学意义(P<0.05)。治疗后1 d,两组疼痛评分比较,差
期刊
随着政府推出的带量采购、网售、两票制等改革政策的实施,医药市场竞争变得更加激烈,优胜劣汰已经成为必然的趋势,这将对医药企业的发展能力和水平提出更高的要求。如何才能制定符合当今医药行业发展的市场营销策略,在同类产品中发挥竞争优势、抢占市场,是众多医药企业面临的首要问题。本文以仁心药业尩痹片市场营销策略研究为例,通过将市场营销的相关理论和仁心药业尩痹片市场营销的实际情况相结合,提出适合当下发展的营销策
学位
随着无线网络通信的不断发展,工作于非授权频段(Unlicensed Band)的无线网络将扮演着重要的业务承载和分流的角色,特别是非授权频段下的无线局域网(Wireless Local Area Network,WLAN)逐渐成为无线网络业务的重要承载方式。针对WLAN,近年来电气和电子工程师协会(Institute of Electrical and Electronics Engineers,
学位
高等教育的大众化和普及化之后,基于高等教育学习结果的评估成为世界各国关注的新焦点。本文首先对高等教育学习结果评估的概念进行了界定,然后分析了该评估提出的背景,接着以美国为例,介绍了美国基于高等教育学习结果评估的实践经验,主要包括评估的类型、对象、内容、过程等。最后总结了美国评估的特点及其对我国高等教育评估工作的启示。
期刊
金融科技是金融与技术深度结合的产物,是指利用先进的技术手段对传统金融行业的产品与服务进行创新,从而实现降低交易成本、提高效率、防范风险等目的的技术创新手段。在金融科技改革与数字化转型成为世界上各大商业银行重点发展目标的大背景下,我国也正大力推动商业银行的数字化建设。中国人民银行出台了以《金融科技发展规划(2022-2025年)》为代表的多项国家层面的发展规划,象征着我国商业银行的金融科技发展迈向了
学位
“科学实践”是对“科学探究”的继承与发展,自“科学实践”一词进入科学教育领域,引起了国际科学教育新变革。随着义务教育新课标的颁布,我国越来越重视学生物理学科核心素养的培养和学生实践。因此,本研究对“基于科学实践的单元实验教学对初中学生物理核心素养的发展是否有促进作用?”进行研究,分为理论探讨和实践研究两部分进行研究:理论探讨部分:通过阅读大量有关科学实践、单元教学研究的文献,探讨总结出基于科学实践
学位
通过查阅文献,总结道家和医家对“夹脊”位置的认知差异。医家认为夹脊的主要形式为“夹脊穴”;道家则以“夹脊关”呈现,聚焦关键部位。医家重点讨论距离脊柱的旁开尺寸,重点落在“夹”;道家则以“夹脊骨”和“夹脊三关”表达对人体后背中轴线的强调,重点落在“脊”。医家基于针刺等治疗目的,关注点最终走向体表;道家则通过内证将夹脊描绘为深入体内的、立体的结构空间。道家和医家对“夹脊”位置的认知差异,体现了二者对人
期刊
乙型肝炎病毒X蛋白(Hepatitis B virus X protein,HBx)在生成后即被快速降解,但目前影响HBx稳定性的机制仍未完全阐明。课题组前期通过酵母双杂交筛选与HBx具有相互作用的去泛素化酶(Deubiqutinases,DUBs),含MPN结构域蛋白(MPN domain containing protein,MPND)为筛选获得的蛋白之一。本研究首先采用免疫共沉淀和激光共聚焦
期刊