基于深度学习的多物体分拣系统研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:xyhai110
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年来,随着工业领域的回暖、人工成本的逐年增加和人口老龄化的影响,机器人代替人已经成为未来许多领域的主流趋势。机器人分拣作为机器人常用的技术,广泛应用于家庭服务、工业制造和物流仓储等领域。机器人分拣是一项具有复杂性的任务,主要涉及了场景感知、目标检测、位姿估计和抓取规划等,已经成为研究人员研究的热点。但是,目前大多数机器人分拣系统仅能够对单类目标物体或相互分离的多类目标物体完成分拣任务,而针对非结构化场景中存在堆叠或遮挡的多类物体的分拣尚未有良好的解决。为了使机器人能够在非结构化场景中对堆叠的多物体进行安全、稳定和准确的分拣操作,本文首先搭建了机器人多物体分拣系统;然后利用旋转目标检测网络获得了目标物体类别、位置及旋转角度;之后通过优化Mask R-CNN实例分割网络分割出物体表面像素,利用相机标定、主成分分析法和欧拉角法估计目标物体的抓取位姿,并提出一种基于先验知识的物体分拣次序推理算法;最后在所搭建的实验平台上检验了旋转目标检测网络、实例分割网络和机器人分拣系统的性能。本文主要工作如下:(1)为实现在复杂非结构化场景中机器人的自动化和智能化分拣,本文搭建了一个集目标检测、场景实例分割、位姿识别和分拣顺序推理于一体的机器人多物体分拣系统,并对系统中主要的硬件设备进行了介绍。(2)针对目标物体在图像中存在较大的倾斜时传统基于水平边框的目标检测网络无法有效识别物体姿态的问题,本文采用旋转目标检测网络R3Det来获取场景中目标物体的类别、位置和旋转角度等信息,为后续抓取位姿估计和机器人分拣提供信息;之后通过构建目标物体的数据集,完成了旋转目标检测网络的训练与评估。(3)本文通过替换Mask R-CNN的掩膜分支,搭建了优化Mask R-CNN实例分割网络,解决了原有网络对物体轮廓分割不精细的问题;然后利用相机标定将物体表面像素转化为点云;之后运用主成分分析法对物体表面进行法向量估计,并结合物体的旋转角度采用欧拉角法估计目标物体的抓取位姿;最后提出一种基于先验知识的物体分拣次序推理算法,解决了机器人因对场景理解不足而导致损伤物体或抓取失败的问题。(4)本文搭建了机器人多物体分拣实验平台,通过服务端/客户端架构进行了分拣系统的软件设计,并在机器人多物体分拣实验平台上,进行了单个物体抓取实验和多类物体分拣实验。实验结果表明,本文提出的基于深度学习的多物体分拣系统能够在非结构化场景中对堆叠物体进行自主、安全和稳定的分拣。
其他文献
由于民航业的飞速发展,越来越多的人选择乘坐飞机出行,使行李吞吐量达到了一个新的高度。目前,国内部分机场采用了先进的行李自动分拣系统,极大地提高了行李的处理效率,然而对于分拣后的行李,绝大多数机场需要由人工将行李从滑槽搬运到平板车上,除了高昂的成本外,效率低下,还容易出现行李损坏等现象。研究一种可用于行李抓取和搬运的智能机器人系统,对于推动机场的自动化进程,减轻工作者的劳动强度,建设智慧机场具有重要
数据分类是热门的研究领域,而小样本数据分类问题是最受关注的难题之一。在很多专用领域要求利用有限数据搭建可用模型,这要求研究者对小样本分类进行全面的研究。基因表达数据是代表性的不平衡小样本数据集,利用代价敏感模型可以有效的对其进行分类。图像分类问题是一种常见的数据分类问题。用于图像分类的卷积神经网络中的参数量庞大,调整这些参数需要极大的算力,用分布式的方法来确定更为有效。本文提出了改进模型和基于去中
当前我国经济不断发展对于企业的内部控制与管理提出更高的要求,企业为了更好地实现可持续发展,就需要不断加强内部控制,降低财务风险,迎接更多的挑战。在企业发展与改革过程中,企业通过改变传统的管理方式,结合企业的实际发展情况不断创新,从而提升企业的核心竞争力。企业经营发展过程中应不断创新管理理念,正确认识到内部控制管理的重要性以及对企业发展的意义,通过内部控制可以有效地降低企业运行过程中的各种风险,提升
学位
汽车在给人们生活带来便利的同时,也存在尾气污染与化石能源日益匮乏的问题。为了缓解尾气污染与能源危机,在开发绿色能源的基础上采用电动汽车代替传统内燃机汽车是一个更优的选择。但是受限于当前电池技术的容量限制,电动车行驶里程仍然无法超越传统汽车,而采用增程器提高电动车的行驶里程是一个可行的改进方法。固体氧化物燃料电池(SOFC)是一种高效、清洁、安静的发电设备,能将燃料中的化学能直接转化为电能,相较于燃
三维物体及场景的表示形式包括点云、体素、网格、TSDF等,其中点云作为许多传感器设备直接采集的数据形式,具有能够保留原始信息的特性,因此近年来被广泛研究。然而RGBD相机、激光雷达等设备分辨率有限,且容易受到遮挡的影响,导致采集到的点云稀疏或残缺,大大限制了它们的应用范围。点云补全任务从输入的残缺、稀疏点云出发,通过提取残缺点云的特征,并利用该特征预测点云中缺失的部分,构建出完整的、稠密的点云。该
本文基于高校传统弓箭课程开发的必要性和可行性分析,进而论述高校满族传统弓箭课程的微课开发。希望能够在高校传统弓箭的教学中采用微课教学,推动高校体育教学发展得更加全面与多元化。本文运用文献资料法、实地考察法和访谈法,主要论述六部分内容,第一部分高校传统弓箭课程开发的必要性和可行性,并论述高校传统弓箭课程的作用;第二部分高校传统弓箭课程目标开发,指出传统弓箭课程的教学目标和开发目标;第三部分阐述高校传
火灾、地震等自然灾害对地形造成了巨大的破坏,常见的轮式救援车辆都无法正常工作,这大大增加了救援工作难度。而足式运动具有对复杂环境更强的适应性,在复杂的环境中起到不可取代的作用。所以,研究作为其代表之一的六足机器人具有着重大的意义和作用。本文针对液压六足机器人在非理想型地面上抗干扰能力弱的问题,着重进行了基于低冲击和速度连续的足端轨迹规划、足端力分配和阻抗控制研究。针对液压六足机器人机械结构特点,采
现阶段,中国的航空事业正处于高速发展阶段,停机坪是机场的重要组成部分,人员配备、设备情况、气候环境、管理现状等方面对整个机场作业环境的安全运营起着巨大的影响。因此,本文在停机坪事故原因分析的基础上,利用ISM解释结构模型和网络层次分析法(ANP)对停机坪安全影响因素进行分析;采用实地调研、文献综述、模型验证的方法对停机坪风险评估模型进行构建和应用分析。通过对国内停机坪安全事故案例统计分析,将停机坪
受全球疫情的影响,各个国家的汉语课堂纷纷从线下转移到了线上,使得“线上汉语教学”出现在大众的视野。与传统的线下授课相比,“线上汉语教学”是一种全新的教学方式,因此有很多问题值得深入研究。笔者是马来西亚的汉语教师志愿者,负责玛拉工艺大学九个班级汉语选修课的教学,授课方式是线上授课,授课软件是Microsoft Teams。本文为笔者在此次线上汉语教学过程中遇到的问题及采取的解决措施,希望能为广大线上