基于双目视觉的苹果采摘目标定位和测距研究

来源 :山西农业大学 | 被引量 : 0次 | 上传用户:fg1978
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现代化农业的飞速发展,机械化的应用,人工智能的加持,采摘机器人就是在农业中的应用之一,但目标的定位和测距仍是难点之一。本文以苹果采摘机器人双目视觉系统作为主要研究对象。首先利用双目相机获取不同距离的标定板图像,通过双目立体标定和立体匹配技术得到标定板图像深度图,测量灰度值,用不同距离标定板图像和对应的灰度值拟合出曲线,并得出曲线公式。把公式代入双目测距算法中,将目标检测和双目测距算法整合成一个系统,实现将苹果图像路径输入,框出苹果所在位置,并显示苹果距离相机的距离。具体工作如下:1、用两个Basler相机组成双目相机,借助Visual Studio 2015和Basler相机配置软件Pylon,实现用代码驱动相机采集图像。采集不同距离的标定板图像,用Open CV算法作为支持,将图像去畸变。分别标定左、右相机的图像,得出相机的内、外参数和畸变参数等数值。对立体匹配算法做了介绍和对比,选择BM算法进行立体匹配实验,得出各个距离对应的深度图并导出。通过代码测量导出的不同距离标定板的深度图,得出对应的灰度值,并与距离建立关系,拟合成一条曲线并得出公式。区别于坐标点测距,这是本实验测距的核心依据和创新。2、通过双目相机拍摄不同距离、不同果实个数、不同遮挡情况的苹果图像两千多张,并制作数据集。通过目标检测算法的对比,选取使用广泛并有较高检测准确率的YOLO v3、YOLO v5和Faster R-CNN三种算法进行对比实验,分别对苹果图像进行训练并检验,检测准确率分别为97.94%、87.8%和89.0%,都能够准确定位苹果在图像中的位置,并且分别框选出来,检测精度和速度满足要求。本文选择准确度更好、时间更短的YOLO v3来实现目标检测。3、输入苹果图像路径,自动实现测距。具体是将目标检测结果引用到双目相机算法中,目标检测框出苹果在图像中的位置,图像通过双目系统算法,得出深度图,自动读取苹果所在框中心点的灰度值,代入灰度值距离公式中得出对应距离,实现测距。同时,使用常用的深度图中点的三维坐标计算实现测距作为对比实验,进行误差分析。本实验在200mm-1500mm范围内进行,平均误差低于5%。对比坐标点计算测距,本实验在保证准确的同时能够自动获取目标位置,得出灰度值距离曲线也更加直观。
其他文献
在学习数学课程的过程中,学生必须通过独立思考来获取数学知识。在传统教学过程中,教师在课堂上注重对教材的解读,剥夺了学生开发数学潜能的机会。因此,在当前新课程改革的背景下,教师需要改变教学策略,将教学的主动权转移到学生身上,培养学生的自主学习能力,提高数学教学的效率。
期刊
随着社会老龄化进程加速,服务型机器人的需求量大大增长。对于现有的机器人系统,在非结构化环境下自发学习如何对未知物体进行感知及稳定、安全的操作是一项具有挑战性的工作。针对这个问题,本文以日常场景中堆叠物体为抓取对象,围绕软体机械手的控制及对未知物体的分类、机器人对物体的感知及操作这些关键技术进行研究。本文主要包括以下几个方面的内容:(1)软体机械手抓取系统搭建与标定。首先,根据服务型机器人感知环境及
学位
制造业在经济发展中扮演了重要的角色,但同时也造成了环境污染问题,为实现可持续发展,降低碳排放量并提升生产效率就变得尤为重要。为降低碳排放量,减少化石能源依赖,响应国家碳中和战略,在生产活动中引入清洁能源就显得尤为关键,光伏发电系统的能量源于用之不竭的太阳能,是一种清洁、安全和可再生能源。光伏发电系统原理是利用半导体材料的光伏效应,把太阳辐射能转化为电能。将光伏与传统能源交替供能是一种新趋势。此外,
学位
随着我国社会现代化进程稳步推进,自然环境的保护成为重要议题,国家对自然生态的保护力度逐年加码,“十四五”规划也对水环境的保护工作提出了更高的要求,不仅要实现“绿色”发展,更要在实现生态保护的基础上加强生态修复。水质监测作为环境保护的分支领域尤为重要,运用水质监测云平台辅助水质监测是提升监测效率的必由之路。尽管传统的化学水质检测法,有检测精度高的优势,但其检测需依托于实验室环境进行,还有检测过程繁琐
学位
增强聚氨酯复合材料由其他不同类型的材料作为增强体,能在保有聚氨酯阻尼性能的基础上,实现结构阻尼性能一体化。为了获得一种结构强度高并保持阻尼性能、原材料易得且成本低、制造工艺相对容易的增强聚氨酯复合材料,本文在现有研究基础上提出一种新型增强聚氨酯复合材料,即不锈钢丝网/聚氨酯复合板的制造工艺方法,探究不锈钢丝网/聚氨酯复合板作为结构与阻尼一体材料应用的可行性,为聚氨酯基复合材料的增强研究提供新的思路
学位
光纤光栅具有波长调制、绝对测量、抗光强扰动、不受电磁干扰等优点。其中,光纤光栅(Fiber Bragg grating,FBG)是发展最成熟的类型。目前,光纤光栅凭借生产工艺成熟、生产成本低、性能优良等优势,在电力、桥梁、航空航天、船舶等大型工程的监测中已广泛应用。本论文主要围绕核燃料反应堆监测工作开展。核反应堆作为一个危险系数极高的产业,一旦发现安全事故所造成的损失以及后果是无法估量的。当前的核
学位
在信息技术高速发展和疫情防控常态化的时代背景下,随着知识更新速度不断加快,自主学习成为大学生必须具备的基本素养。而目前大学生线上自主学习却存在学习目标不明确、学习积极性不高、学习方法不科学和学习反馈不到位等问题。为探索解决问题的创新模式方法,促使大学生加强自主学习并提升自主学习能力,可通过采取“挖矿”开发模式,营造沉浸式学习环境;通过设置积分奖励方法,提高线上自主学习动力;通过引入小组竞争机制,激
期刊
由于传统的焊接方式存在着环境恶劣、危害工人健康等问题,其逐渐被以焊接机器人为主的现代焊接方式所取代。焊接机器人一般采用“示教-再现”模式,该模式存在着装配误差、适应性差等不足,故较难符合焊接实际应用中高精度、高效率的要求。为此,在广东省自然科学基金面上项目“面向焊缝跟踪实时应用的焊缝特征点检测定位机理研究”(项目编号:2021A1515011736)和广州市应用基础研究计划项目“面向焊缝跟踪实时应
学位
胶体金免疫层析技术是以胶体金作为示踪标志物,应用于抗原抗体反应中的一种新型快速检测技术,目前国内外对于抗体检测胶体金免疫层析技术中不同拦截模式的比较研究较少。本研究将牛传染性鼻气管炎病毒(Bovine infectious rhinotracheitis virus, IBRV)的gD基因进行了原核表达,以纯化的IBRV gD-pAb作为检测靶标,将胶体金标记的gD蛋白、金黄色葡萄球菌蛋白A(st
期刊
目的 探讨重复经颅磁刺激(rTMS)治疗快感缺失型抑郁症的有效性及安全性、rTMS联合阿戈美拉汀片治疗快感缺失型抑郁症的疗效。方法 选取2020年1月~2021年12月在桂林市精神卫生中心门诊或住院部快感缺失型抑郁症患者共60例,根据随机数字表法将其分为对照组(n=30)和研究组(n=30),对照组单独使用rTMS治疗,研究组在rTMS治疗的基础上联用阿戈美拉汀片,治疗疗程为6周。对比两组汉密尔顿
期刊