番茄采摘机器人目标识别方法研究

来源 :江苏农业科学 | 被引量 : 0次 | 上传用户:njcxm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘要:针对目前采摘机器人工作环境复杂、效率低下等问题,在采摘机器人体系结构的基础上,提出了一种将AdaBoost分类器和颜色特征分类器相结合用于番茄采摘机器人的目标识别方法。通过试验分析该方法的性能,并与改进前的性能进行比较。 试验结果表明,该方法的平均番茄识别时间为78.955 ms,识别准确率达到97%以上,性能优良,达到番茄采摘机器人对目标识别的要求。为实现采摘机器人智能化提供了一定的参考和借鉴。
  关键词:采摘机器人;智能化;目标识别;AdaBoost 分类器;颜色特征分类器
  中图分类号: TP249  文献标志码: A
  文章编号:1002-1302(2021)20-0217-05
  收稿日期:2021-03-15
  基金项目:太原市院士工作站建站项目(编号:TYSYSGZZ201903);山西省高等学校科技创新项目(编号:2019L0935)。
  作者简介:王 瑾(1987—),女,山西晋中人,硕士,讲师,主要从事识别系统等方面的研究。E-mail:wj1987001@126.com。
  我国是种植大国,其采摘活动具有高强度、集约化的基本特征。但目前多采用人工采摘,费时费力且人工成本较高[1]。随着我国农业机械的不断调整和劳动力短缺现象的出现,迫切须要实现水果采摘的机械化和自动化,以避免采摘不及时而造成的经济损失。随着我国农业现代化进程的不断发展,迫切须要开发采摘机器人提高采摘效率,确保果实品质并减轻劳动强度[2]。但制约采摘机器人发展的主要技术是识别、定位和控制。因此对番茄采摘机器人目標识别方法进行研究具有重要的现实意义。
  近年来,国内外研究人员对采摘机器人技术进行了大量研究并取得了一定成果,但采摘效率却较低。为了提高采摘效率,果实的精准识别方法显得尤为重要。刘芳等提出了一种改进的多尺度Yolo算法用于快速识别番茄果实,并建立复杂环境下的识别网络模型,试验结果表明,该模型的检测准确率为96.36%[3]。赵利平等提出了一种改进的遗传算法结合三点定位算法用于采摘机器人目标识别,该算法首先使用a-cb-r融合空间分类法将苹果夜间目标与背景分离,然后使用Canny算法和凸壳理论勾勒出苹果夜间目标的真实轮廓,最后使用融合算法来准确定位夜间苹果目标。试验结果表明,该方法的检测准确率为92.199%[4]。杨长辉等提出了一种基于卷积神经网络的水果采摘机器人识别和定位方法,对预测候选框进行K均值聚类分析,增强模型提取枝叶特征的能力,以准确了解采摘场景;最后,使用Kinect-V2相机的深度图绘制出拾取物体和障碍物的三维信息;试验结果表明,该方法拾取成功率为80.51%,避障成功率为75.79%[5]。赵源深等提出了一种将编码方法和AdaBoost深度学习算法相结合来识别成熟的番茄,试验结果表明,该方法的检测准确率为93.3%[6]。尽管上述识别方法识别准确率较高,但在特征提取上非常繁琐,算法参数的选择复杂,分类器性能不稳定等问题,因此须要进一步提高其适应性。
  基于此,本研究提出了一种将AdaBoost分类器和颜色特征分类器相结合用于番茄采摘机器人的目标识别。通过试验分析了该方法的识别准确率、识别速度、鲁棒性等。
  1 系统概述
  采摘机器人的识别和定位系统由嵌入式控制器、双目视觉传感器和末端执行器组成。模拟番茄采摘的过程为图1所示系统结构。首先,使用双目视觉传感器识别和定位番茄,然后选择目标,基于采集的信息,嵌入式控制器可以识别并锁定近距离内的目标[7]。机械手根据已建立的基于图像反馈的控制方法进行拾取。选择目标后,执行器将返回其原始位置并选择下一个目标,直到采摘了所有已识别和定位的目标,机器人移动重新识别和定位,采摘目标[8]。本研究主要对目标识别技术进行研究。
  2 目标识别方法
  为满足非结构化农业环境中番茄采摘机器人对目标水果识别的要求[9]。本研究提出一种将AdaBoost分类器和颜色特征分类器相结合的番茄目标识别方法。
  2.1 AdaBoost分类器
  AdaBoost分类器采用Haar-like特征(图2)和AdaBoost自学习算法相结合的分类模型。Haar-like特征可分为3类:边界特征、线性特征和弧度特征,特征值用来反映图像灰度的变化[10]。
  Haar-like特征提取通过特征矩阵计算相应的特征值。在矩阵中,白色区域和黑色区域分别标记为1和-1。同时,对提取的特征值进行顺序组合。以获得特征矩阵X,AdaBoost训练算法的输入由特征矩阵X和编码向量Y组成。由于单个图像中 Haar-like特征数量通常较大,这大大降低了算法的实时性能。因此,文献[11]提到,viola等提出了一种Haar-like特征快速提取方法(积分图)。
  AdaBoost算法被称为自适应Boosting算法。AdaBoost算法的目的是通过训练集训练一些弱分类器,将这些弱分类器组合起来就是强分类器。具体步骤如下。
  步骤1:输入训练样本集D={(x1,y1),(x2,y2),…,(xm,ym)}。其中,xi∈X,yi∈Y,X为特征矩阵,Y为编码向量;m是样本数;i=1,2,3,…,m。
  步骤2:初始化样本权重D0,各训练样本根据式(1)分配相同的权重[12]。
  D0(i)=1/m,i=1,2,3,…,m。(1)
  步骤3:共进行t次迭代。在每一个迭代过程中,都要根据公式(2)更新当前阈值ht,误差率εt最小化为目标[13]。
  ht=argminεt。(2)
  误差率εt为误分类样本的权值之和,具体如公式(3)所示[14]。
  εt=∑mi=1Dt(i),[yi≠ht(xi)]。(3)   通过阈值得到弱分类器ht(xi),具体如公式(4)所示[15]。
  ht(xi)=1,xi≤hi
  -1,xi>hi。(4)
  式中:hi为输入xi对应的阈值。
  同时,须要根据公式(5)更新弱分类器ht(xi)的权重[16]。
  at=12ln1-εtεt。(5)
  式中:at为弱分类器t次迭代的权重。
  更新训练样本集的权值分布,用于下一次迭代,具体如公式(6)所示。
  Dt+1=Dtexp(-at×yi×ht)Zt。(6)
  Zt为归一化因子,具体如公式(7)所示[17]。
  Zt=∑mi=1Dt(i)。(7)
  步骤4:将第3步得到的弱分类器进行组合级联,输出强分类器H(x),如公式(8)所示。
  H(x)=1,∑Tt=1at×ht(x)≥12∑Tt=1at
  -1,otherwise。(8)
  从上述对AdaBoost学习算法的过程分析可以看出,AdadBoost分类器的性能主要受 Haar-like 特征矩阵和训练次数的影响。通过测试,特征提取过程中仅使用C类Haar-like特征,训练次数为 20 000 次。
  2.2 级联分类器
  AdaBoost分类器对成熟番茄的识别准确率较高,但误识别率也很高,因此有必要进一步降低番茄采摘机器人的误识别率[18]。采用颜色特征进一步判别成熟番茄目标,降低AdaBoost分类器的误识别率。
  颜色特征分类器通过对正、负样本的颜色特征进行分析。随机选择了1 000张样本图片,正、负样本各500张。对每张样品实行色彩空间转换,提取各样品的R-component、a*-component 和 I-component分量的图像。并根据公式(9)计算样本的平均灰度值(AVP)[19]。
  AVP=∑Mx=∑My=1i(x,y)M2。(9)
  式中:M为样品图像长度的像素点数,由于样品都是正方形,长度和宽度是一样的;i(x,y)为样本中第(x,y)个像素点的灰度值。经过测试后,以 I-component 分量图像的平均灰度值为15作为颜色特征分类器。
  将AdaBoost分类器与颜色特征分类器结合可以有效提高算法性能,具体结构如图3所示。 AdaBoost分类器是由多个Haar-like弱分类器组成。各弱分类器检测结果都为N(N表示未成熟番茄),则该区域为未成熟的番茄[20]。各弱分类器检测结果都为Y(Y表示成熟番茄),在颜色特征分类器中判断也为Y,则最终判断为成熟的番茄。
  将AdaBoost分类器和颜色特征分类器相结合来检测成熟番茄目标时,2种分类器结合可以降低误识别率,满足番茄采摘机器人在非结构化环境中的性能要求[21]。基于级联分类器的番茄目标识别算法可分为离线训练和在线识别。离线训练应按照“2.1”节中所述进行。 图4所示为基于级联分类器的番茄目标在线识别过程。
  使用从离线训练中获得的级联分类器,对采摘机器人拍摄的场景照片进行全局扫描,所有的分类器都确定为真,将当前检测窗口的像素域对象视为目标番茄,使用连接域合并方法将多尺度检测结果进行合并,最后识别出图像中的目标番茄。
  3 试验结果与分析
  3.1 试验参数
  为了验证级联分类器的性能和有效性,分别进行识别率测试试验、识别速度试验和鲁棒性试验。从采集图库中随机选择1 000张图像作为测试样本。样本中包括成熟番茄、未成熟番茄和设施环境背景的图像。人工识别后,检测到的图像包含693个成熟番茄。模拟中使用的计算机是Intel i5处理器、8 G内存和Win10系统[22]。
  3.2 识别率分析
  从图像数据库中随机选择1 000张图像并测试识别率。 在分析识别率时,除了本研究的级联分类算法外,还与未改进前的AdaBoost分类器和颜色特征分类器进行对比分析。试验结果如表1所示。
  通过表1对比分析表明,本研究级联分类器和AdaBoost分类器的识别率均在95%以上,而颜色特征分类器的识别率仅为84.99%。同时本研究分类器的误识别率小于3%,低于AdaBoost分类器的误识别率(10.14%)。结果表明,本研究级联分类器在保证成熟番茄识别准确的同时,可以明显减小成熟番茄的误识别率。
  3.3 识别速度分析
  由于番茄采摘机器人对实时性有较高的要求,所以须要对级联分类器番茄目标识别算法的实时性进行分析。表2所示为应用于测试样本图像的识别算法耗时结果。结果表明,每个样本图像所消耗的时间从 39 ms 到100 ms不等,平均识别时间为78.955 ms。 由于番茄采摘机器人视觉传感器的采样频率为 10帧/s,因此小于100 ms的识别速度就可以满足视觉实时要求。
  3.4 鲁棒性分析
  通过分析测试样品在各种干扰条件下的识别结果,以验证目标识别算法的鲁棒性,发现基于级联分类器的番茄目标识别算法具有很好的鲁棒性和复杂环境的适应性。图5所示为成熟番茄被枝叶覆盖时级联分类器的识别结果。
  从图5可以看出,如果成熟的番茄被枝叶部分覆盖,识别算法还可以从复杂的环境中准确地识别出成熟的番茄。不同形式的遮挡会影响识别结果,如果番茄被遮盖的面积超过一半,本研究方法可能无法识别。原因有2个:(1)在樣品训练中,大面积遮挡番茄的样品数量较少;(2)大面积的遮挡使颜色分类器的误识别率提高。图6为不同光照度下成熟的番茄识别结果。
  从图6可以看出,基于级联分类器的番茄目标识别算法可以很好地应用于各种光照条件,识别算法的性能在强光和暗光条件下均不受影响。这是因为在训练样本的采集中,存在大量不同光照条件下的番茄图像,因此分类器对光照度具有较强的适应性。   由于番茄的黏附性问题,特别是成熟的番茄黏附性问题,这通常是采摘机器人目标识别中的技术难题,本研究方法就可以很好地解决这一问题。 图7所示为番茄粘连情况下的识别结果。
  在Haar-like 特征提取过程中,构造了4个C型特征,有效提取粘连果实的边缘特征信息。同时,结合不同尺度的识别结果,既能保证成熟番茄的唯一识别,又能保证相互粘连果实的识别。当识别中心距离大于检测窗口长度一半时,可认为识别出2个目标番茄。
  4 结束语
  本研究完成了番茄采摘机器人的体系结构设计,提出了一种将AdaBoost分类器和颜色特征分类器相结合用于番茄采摘机器人的目标识别。通过试验分析了该识别方法的识别率、识别速度和鲁棒性。试验结果表明,该方法具有较为优异的性能,优于改进前,番茄的平均识别时间为78.955 ms,识别率达到97.98%。考虑到当前检测设备和数据的规模,番茄采摘机器人识别方法的研究仍处于起步阶段。基于此,逐步完善和提高采摘机器人的性能将是下一步工作的重点。
  参考文献:
  [1]王海楠,弋景刚,张秀花. 番茄采摘机器人识别与定位技术研究进展[J]. 中国农机化学报,2020,41(5):188-196.
  [2]刘国斌,车宇彤. 农业信息化与农业现代化融合发展研究[J]. 情报科学,2019,37(1):148-155.
  [3]刘 芳,刘玉坤,林 森,等. 基于改进型 YOLO 的复杂环境下番茄果实快速识别方法[J]. 农业机械学报,2020,51(6):229-237.
  [4]赵利平,吴德刚. 融合GA的三点定位夜间苹果目标的识别算法研究[J]. 中国农机化学报,2020,41(5):134-138.
  [5]杨长辉,刘艳平,王 毅,等. 自然环境下柑橘采摘机器人识别定位系统研究[J]. 农业机械学报,2019,50(12):14-22,72.
  [6]赵源深,贡 亮,周 斌,等. 番茄采摘机器人非颜色编码化目标识别算法研究[J]. 农业机械学报,2016,47(7):1-7.
  [7]郭 亚,朱南阳,夏 倩,等. 中国农业物联网及“互联网+农业”进展[J]. 世界农业,2018(7):202-209.
  [8]李国利,姬长英,顾宝兴. 基于单目视觉与超声检测的振荡果实采摘识别与定位[J]. 农业机械学报,2015,46(11):1-8.
  [9]韩 鑫,余永维,杜柳青. 基于改进单次多框检测算法的机器人抓取系统[J]. 计算机应用,2020,40(8):2434-2440.
  [10]Hu J J,Fichtner M,Baricco M.Preparation of Li-Mg-N-H hydrogen storage materials for an auxiliary power unit[J]. International Journal of Hydrogen Energy,2017,42(27):17144-17148.
  [11]初广丽,张 伟,王延杰,等. 基于机器视觉的水果采摘机器人目标识别方法[J]. 中国农机化学报,2018,39(2):83-88.
  [12]Krewer U,Rder F,Harinath E,et al. Review-dynamic models of Li-ion batteries for diagnosis and operation:a review and perspective[J]. Journal of the Electrochemical Society,2018,165(16):A3656-A3673.
  [13]Patel G K,Dabhi V K,Prajapati H B.Clustering using a combination of particle swarm optimization and K-means[J]. Journal of Intelligent Systems,2017,26(3):457-469.
  [14]Gautam J V,Prajapati H B,Dabhi V K,et al. Empirical study of job scheduling algorithms in hadoop MapReduce[J]. Cybernetics and Information Technologies,2017,17(1):146-163.
  [15]Caetano C E F,Lima A B,Paulino J O S,et al. A conductor arrangement that overcomes the effective length issue in transmission line grounding[J]. Electric Power Systems Research,2018,46 (5):159-162.
  [16]Song  Z, Hofmann  H, Li  J, et  al. The optimization of a hybrid energy storage system at subzero temperatures:energy management strategy design and battery heating requirement analysis[J]. Applied Energy,2015,159:576-588.
  [17]王海青,姬長英,顾宝兴,等. 基于参数自适应脉冲锅合神经网络的黄瓜目标分割[J]. 农业机械学报,2013,44(3):204-208.
  [18]Jia Z W,Wang L J,Zhang J C,et al. High efficiency,low power-consumption DFB quantum cascade lasers without lateral regrowth[J]. Nanoscale Research Letters,2017,12(1):88-95.
  [19]Azumaya C M,Days E L,Vinson P N,et al. Screening for AMPA receptor auxiliary subunit specific modulators[J]. PLoS One,2017,12(3):1523-1538.
  [20]Fan C L,Fu Q,Long G Z,et al. Hybrid artificial bee colony algorithm with variable neighborhood search and memory mechanism [J]. Journal of Systems Engineering and Electronics,2018,29(2):405-414.
  [21]周 航,杜志龙,武占元,等. 机器视觉技术在现代农业装备领域的应用进展[J]. 中国农机化学报,2017,38(11):86-92.
  [22]齐锐丽,陈曼龙,杨宗浩,等. 基于HSV模型与改进的OTSU算法花椒图像分割[J]. 中国农机化学报,2019,40(11):155-160.
其他文献
摘要:以富兰德里奶油生菜为试材,通过采后施加浓度为0(CK)、0.25、0.50、1.00 mg/L的4种不同农用硒肥,研究采后施用不同种类及浓度的农用硒肥对植物工厂水培生菜处理24 h后品质及硒含量的影响。结果表明,采后施用农用硒肥可以提高生菜的品质和硒含量。1.00 mg/L硒元素水溶调理剂处理,硒含量最高(97.38 μg/kg),其次是 0.50 mg/L 螯合硒微量元素水溶肥处理(78.
期刊
摘要:为了研究树冠结构形态与树木振动特性之间的关系,在室内选择3个榉树主干和10个树冠构成新的样品树,采用绳拉法测试其固有特性,同时在室外进行试验验证。结果表明,树冠对样品树的质量分布具有显著影响,能够快速降低其固有频率,但是对阻尼比的影响较小。当振幅较小时,树叶质量对样品树固有频率的影响并不显著,树木主要还是依靠树枝来耗散振动能量。单独主干及带叶树冠样品树的固有频率与样品树的总质量之间均存在二次
期刊
摘要:为探究河水注入养殖海域对栉孔扇贝的影响,挑选山东省荣成市爱莲湾海域的养殖扇贝为试验对象,研究其在毗邻河水(0、10%、20%、30%、50%)添加后存活率、耗氧率、排氨率、SOD活性及重金属含量的变化。在试验过程中,0、10%、20%河水添加组存活率均≥95%,30%河水添加组存活率为91%,50%河水添加组栉孔扇贝于120 h时全部死亡;在1~48 h间,10%、20%、30%河水添加组栉
期刊
摘要:为探究滆湖鲌类国家级水产种质资源保护区主要保护对象3种鲌类遗传资源状况,利用线粒体DNA COⅠ基因序列评价3种鲌类的遗传多样性及种群历史动态。通过PCR技术和测序技术,获得长度为630 bp COⅠ基因片段。序列分析结果表明,3种鲌类COⅠ基因序列碱基组成相似,且具有明显碱基组成偏向性,A+T的含量高于G+C的含量。翘嘴鲌的46条COⅠ基因片段发现4个变异位点,定义了4种单倍型(Hq1-H
期刊
摘要:为探究野樱莓、蓝靛果、蓝莓、蔓越莓、黑莓和覆盆子的营养成分;对6种浆果矿物质元素、总酚、总黄酮和花色苷含量进行测定,并用电子自旋共振波谱仪(ESR)对6种浆果的DPPH自由基清除能力进行探究。结果显示,通过对比6种浆果的营养成分含量,野樱莓的镁元素、钙元素和铁元素含量,蓝靛果和覆盆子的钾元素含量,黑莓的锰元素和铁元素含量较高;野樱莓和蓝靛果的总酚含量、蔓越莓的总黄酮含量、蓝靛果与黑莓的花色苷
期刊
摘要:为优化绿芦笋热风-微波联合干制工艺、缩短干燥时间、提升干品品质,以复水比、色差和感官评分为考核指标,基于Box-Behnken Design响应面优化热风温度、转化点含水率、微波功率与考核指标的回归模型,得到绿芦笋最佳热风-微波联合干制工艺为:前期热风温度55 ℃、转换点含水率42.00%、后期微波功率300 W。在此条件下,得到复水比为2.54,a值为2.07,感官评分为15.16。通过实
期刊
摘要:使用马脾铁蛋白包封降血压活性肽AHLL,通过紫外、荧光和圆二光谱研究AHLL荷载对HSF结构的影响。在此基础上,研究铁蛋白包封对AHLL稳定性以及体外胃肠道消化过程中血管紧张素转化酶(ACE)抑制活性的影响作用,并开展复合纳米颗粒(HSF-AHLL)的细胞转运试验。结果表明,AHLL载运显著降低了HSF的α-螺旋结构和β-转角结构,而β-折叠结构含量和无规卷曲含量增加,另外,包埋后HSF四重
期刊
为了提高农田图像去雾的效果,提出划区域暗通道算法。通过双阈值把有雾图像划分为远景区域、近景区域、中间区域;不同区域采用不同的透射率计算方法,远景区域的透射率计算基于非线性容差机制,近景区域的透射率计算基于修正因子,中间区域的透射率计算基于引导滤波;再利用全局大气光照度和各区域的透射率得到去雾图像,并给出算法流程。试验仿真结果表明,与其他去雾算法相比,该算法提高了去雾图像的可见性,平均梯度评价指标值
期刊
摘要:为解决分层施肥作业过程中难以人工判断缺肥或堵塞等问题,并根据施肥作业实际需求,设计开发了一种分层施肥监测系统,解决了传统施肥作业无法实时监测机具作业状态和可视化操作的问题。以三菱FX2N PLC及外围电路进行传感器输入信号的采集,采用适配modbus协议的LoRa无线扩频技术实现了与上位机的无线数据通信,减少了现场布线。通过人机交互界面进行相关参数设置,为不同机型机具进行系统的移植提供了方便
期刊
摘要:针对北方日光温室普遍配备的电动卷帘设计了基于LoRa与模糊控制的温室环境调控系统。系统采用STM32作为微控制器,配置限位开关确保卷帘运行安全,通过LoRa和4G-LTE实现与服务器的通信和交互,采集温度、湿度、光照度等环境数据,运用模糊控制算法对风口开合宽度进行自动调节,使用卷帘覆盖风口方式实现对温室环境的调节。农户可以使用现场旋钮或远程APP/WEB控制设备的运转,也可以通过设置规则达到
期刊