面向无序抓取的工件识别与位姿估计

来源 :浙江大学 | 被引量 : 0次 | 上传用户:lzc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为机械臂操作的“圣杯”问题,无序抓取应用场景广泛,而稳定快速的物体识别和位姿估计算法则是该问题中的关键之一。本文针对无序抓取场景,应用基于物体渲染的样本合成方法,在已知物体CAD模型的基础上,合成大量训练数据,构造虚拟数据集,采用Mask R-CNN网络实现了堆叠场景的多工件识别与分割。在获取单目标工件数据后,提出了基于点对特征的改进算法,并且针对传统算法实时性差的问题,提出了基于深度学习的密集融合网络方法。本文的具体研究工作如下:(1)针对物体本身存在自遮挡问题,传统点对特征算法未考虑不可见点对的问题,本文提出了一种改进的PPF算法。该算法包含离线训练和在线匹配两个过程。离线训练阶段,考虑物体自遮挡因素,应用球面斐波那契采样得到采用视点,在多视点下由HPR算法进行可见性判断。对满足条件的可见点进行两两组合,计算点对特征,得到描述物体全局信息的模型。在线匹配阶段,利用最远点采样算法得到场景中的参考点。将参考点与局部点云组成点对计算特征,采用霍夫投票进行粗匹配。最后利用ICP算法对位姿结果进行微调。本文通过在UWA数据集和实际采集的点云中进行实验,并在无序抓取实验平台上进行机械臂抓取实验,结果验证了所提方法的有效性。(2)针对PPF算法需要大量特征匹配和霍夫投票,计算量过大,实时性不足的问题,本文提出了一种基于RGB-D数据的密集融合网络。密集融合网络结合了图像和点云两种数据源,利用PSPNet网络和PointNet网络分别从RGB图像和点云中提取深层次特征并进行像素级密集融合得到多尺度特征。在旋转预测模块,利用20面体群采样旋转锚点,对每个锚点进行预测,减小了局部最优问题的影响。在平移预测模块,根据每个像素点预测的位移矢量,应用RANSAC方法预测平移变换,从而得到目标物体的精确位姿。基于物体渲染的样本合成方法为网络提供了大量带标签数据,极大降低了数据标注的成本。本文通过在LINEMOD数据集、合成管件数据集和真实场景中进行实验,结果验证了方法的有效性。
其他文献
如何对公立医院采购业务进行内部审计监督,是实践中的一大重点难点课题。本文基于风险导向的理念,梳理公立医院采购业务流程,识别评估流程中的重要风险点,并针对风险点制定审计策略,以有效履行内部审计的监督职责。
[db:内容简介]
无限带宽(InfiniBand)网络凭借高带宽、低延迟、易扩展的优势被广泛应用于数据密集型和计算密集型场景,加速了数据中心与高性能计算的发展。无限带宽网络集中式的管理架构要求高层管理软件实体通过特定的管理消息向网络节点传达管理指令。各网络节点通过管理代理这一底层软件实体响应网络管理行为,实现稳定、可控的网络环境。因此,本文基于CPU+FPGA组成的异构多处理器片上系统,提出了一种应用于嵌入式主机通
人体行为识别技术在智慧城市安防、视频检索、人机交互、无人便利超市等领域中有诸多应用,其重要性日益突出。如何有效地对视频序列信息进行时空建模是人体行为识别任务中的一个关键点。许多研究为了更好地对视频序列进行时空建模,采取三维卷积并结合光流等其他运动补充信息的方法,但忽略了所带来的网络难以优化、网络规模与计算量增加的问题。此外,在面临不同行为实例的持续时间长短不一的问题时,许多研究简单地堆叠局部感受野
[db:内容简介]
信息技术的快速发展和广泛应用,为机关档案管理模式创新提供了重要支持,特别是机关数字档案室建设成为其重要目标和内容,但也对机关数字档案信息安全提出了严峻挑战。文章分析了机关数字档案管理的特点,针对机关数字档案室建设中的安全风险点,提出具体安全管理策略,为机关数字档案室信息安全体系建立提供参考。
车辆重识别技术是安防、监控视频分析与理解的基础技术,也是构建天网工程、平安城市的重要环节。根据训练数据是否含有人工手动标注的标签,可将车辆重识别问题分为全监督车辆重识别问题和无监督车辆重识别问题。全监督车辆重识别任务面临着近相似的问题,本文针对该问题,设计并实现了一种基于局部特征和属性信息的全监督车辆重识别方法。与此同时,无监督车辆重识别任务面临着数据集歧视和难以训练的问题,为了解决以上两项问题,
CT图像肺部气管和血管分割对于肺部疾病的诊疗具有重要的研究意义。传统的分割方法基于边界、区域或特定模型进行图像处理,针对肺部密布的血管丛或气管树分割任务,必须依赖大量的人机交互才能提升分割精度。为保障自动分割精度,并提升分割效率,近年来深度神经网络作为特征提取工具逐渐在肺部血管或气管自动分割中得到应用,但因其效果受标注数据质量和规模的严重影响,限制了此类方法的推广。为解决这一问题,本文提出一种基于
稠密高程地图构建对于移动机器人星面探测、野外搜索等任务应用有着重要的作用,但是稠密地图构建存在数据量大、计算量大的难点,这对大范围地图存储和实时地图更新带来了巨大的挑战。本文基于2.5D稠密高程地图表示形式,提出了带有可行域信息的局部稠密高程地图快速构建系统、满足回航需求的可扩展全局一致的全局稠密高程地图在线构建系统和利用稠密高程地图的地点重识别融合网络。主要研究成果如下:1.设计了一种带有可行域
面向工业巡检的数字仪表读数识别普遍利用人工识别并记录仪表读数信息的方式,然而人工方式记录读数是影响工厂生产效率的重要因素。当工厂使用人工抄表,不可避免出现记录错误读数,耗时长等问题。因此,利用巡检设备自动优化记录过程,提高生产效率,并为记录读数提供准确保障。本文分析了工业巡检中数字仪表读数识别的影响因素,并根据工业巡检的功能和性能需求,设计了一种能够实现工业数字仪表读数实时识别的方案。本文利用巡检