论文部分内容阅读
摘要如何对采集到的草莓图像进行分割和如何选取评定草莓等级的特征参数是草莓自动分拣系统的2个重要环节。该研究利用草莓R、G、B通道明显的像素差值来分割目标和背景，并且选取草莓的形状特征和成熟度作为草莓评级的特征参数，综合运用机器视觉、神经网络等理论方法，通过实验数据统计，建立极坐标下草莓外形轮廓特征参数及颜色空间下成熟度特征参数的提取方法，以人工神经网络为识别模型，实现对草莓的自动分类。实验结果表明，该方法对草莓的自动分级结果与人工分级结果相比较，准确率达到90%，具有实际的可行性。
关键词草莓；图像采集；图像分割；特征提取
中图分类号S126文献标识码
A文章编号0517-6611（2015）21-370-04
草莓的分选是其产后处理的一个关键环节[1]，目前我国对草莓分选大部分采用人工分选。人工分选方法主要依据肉眼观测判断等级，缺乏客观性。草莓大小不一，表面情况复杂，单纯依靠肉眼判断达不到较好的分级效果。而且，由于草莓果实的表面非常柔软脆弱，人工分选容易造成机械损伤，影响草莓的商品价值。因此，研究快速、准确、高效的草莓自动化分选技术及设备具有重要的科学意义和社会经济价值。
对于水果外观品质检测与分级，国内外研究人员开展了许多研究，研究思路主要采用基于计算机图像处理、机器视觉的方法，大多以外观形状规整的一些水果为对象，如苹果、柑橘、西红柿等[2-4]。相比而言，草莓的形状复杂，一般的水果分选原则，如形状、大小、圆度、弯曲度以及长度比等，很难用到草莓上。针对这一问题，近些年，国内外研究人员进行了相关研究[1-8]。曹其新等利用图像信息处理技术，研制出根据草莓的形状和尺寸进行分级的自动分选系统。该草莓分选系统具有一定的分选精度，但效率还有待提高[6]。日本学者Pepito M Bato等建立了检测草莓形状的三维形状测量实验台[7]。Nagata M等研究了在OHTA色度空间下草莓收获机器人的水果分离与分级方法[8]。
从国内外研究状况来看，目前针对草莓的自动化分选技术研究还处于起步发展阶段，缺乏科学统一的分级标准，主要依赖草莓颜色、形状和大小3种参数来划分其优劣等级。但由于草莓外形变化大，表面凹坑较多，黑籽粒分布广，叶子随机覆盖使草莓图像分割处理和特征参数提取难度增大，从而造成草莓等级划分不够精确。笔者在现有研究的基础上，综合运用机器视觉、神经网络等理论方法，以草莓外形轮廓及成熟度作为分级依据，通过实验数据统计，建立极坐标下草莓外形轮廓特征参数及颜色空间下成熟度特征参数的提取方法，以人工神经网络为识別模型，实现对草莓的自动分类。最后，通过实验验证所提出方法的可行性和准确性。
1图像采集与处理
1.1图像采集
对一般水果而言，其形状基本相似，表面光泽，基本没有叶子。而草莓恰恰相反，同种类的草莓相互之间形状差异也比较大，表面颜色分布不均，而且有很多的黑色籽粒和凹坑。为保证草莓采集到的草莓图像尽可能少的受到光照、背景、传输噪声的影响，需要设计一个比较好的图像采集装置平台。
图1为设计的光照控制箱。箱体外层为630 mm×630 mm×710 mm的立体密闭木箱，内层有2块倾角为65°的木板，板面要求为乳白色并保证板面反射光为漫反射。2块倾斜板均在等距高度安装透光度在60%的阳光板，在每个阳光板板上安装色温为5 600～6 300 K、功率4 W的白色长管荧光灯。在密闭箱顶上安装2个散热风机，保证密闭箱内的工作温度稳定。箱子正上方则悬吊安装1个CCD摄像头，镜头到箱底的距离可调。整个装置内的光线均匀适度，尽量保证拍摄到的草莓图像没有暗影、高光点。选取不同颜色作为拍摄背景颜色反复做实验后，结果表明以蓝色作为背景颜色时，对采集到的草莓图像做后期处理效果最好，所以该研究图像选取装置的底板颜色为蓝色。
1.2图像分割
草莓图像分割方法有多种[9-12]，该设计中在蓝色固定背景下采集图像，R通道对应灰度图r1中果实像素值明显大于背景像素值，用灰度像素值全为255的等大小图像r2减去r1，得到新灰度图r3，r3中果实像素值小于背景像素值。由于R中果实像素值较大，故用r3再减去r后得到的新图中草莓果实与背景的像素差值进一步放大，对比更加明显，经过二值图像转换即完成图像分割。该方法运算速度快，处理方便，效果也比较好，具体方法如下：
（1）提取彩色图像2a中R通道，并构造只含R通道的彩色图，并将其转为灰度图r1，如图2b。
（2）构造一个与r1等大小，灰度值全为255的新图r2。
（3）求差r3=r2-r1，得到图2c。再求差r4=r3-r，将r4转化为二值图像，并求反得到目标图像，如图2d。
安徽农业科学2015年
2基于计算机视觉的草莓等级判别
2.1草莓轮廓特征模型
计算机不能直接对得到的图像进行判断，必须借助于从图像中抽取的参数进行计算[13-15]。在线分级处理要求计算的效率较高，为提高计算效率，采用抽取草莓图像形状特征参数的算法：
（1）取草莓果肉图像的重心点O和顶点D，作线段DO并延长交于草莓图像点C，则选定点C为极坐标原点。
（2）以CD为极坐标中心对称轴、C为原点，向轴两边等弧度角间隔分别作4条射线交于图像的边缘，由此得到9条线段分别为：CR1、CR2、CR3、CR4、CD、CL4、CL3、CL2、CL1（图3）。
（3）根据下列参数：
m1=CL1/CD，m2=CL2/CD，m3=CL3/CD，m4=CL4/CD
m5=CR1/CD，m6=CR2/CD，m7=CR3/CD，m8=CR4/CD
选取60颗草莓做数据分析，先将草莓按照形状和大小分为A、B、C 3类，分别对应优、良、次3类，每类20颗草莓。图4记录了60颗草莓中轴CD长度。表1中记录了样本草莓各项形状特征参数变化范围。结合图4和表1中数据分析可知，不同等级草莓的形状参数呈一定规律变化，设计中对每个草莓提取8个相对比值参数和一个径向长度参数来组成草莓形状特征模型。对60颗草莓分3类进行数据分析，A类草莓个头最长，宽度最大，形状也最匀称；B类草莓长度居中，宽度也比A类小；C类草莓长度和B类基本一致，但是果实宽度明显很小。 2.2草莓成熟度判断
颜色是判断草莓是否成熟的重要标志，所以它也是草莓等级划分的重要指标参数。未成熟的草莓颜色有绿、青、浅红等，不过大多数草莓呈现头青色、身红色。成熟度高的草莓R通道灰度平均值较大和G通道的灰度平均值较小，两通道的标准差相对较小，相反不成熟的草莓R通道灰度平均值较小和G通道的灰度平均值较大，且两通道的标准差相对较大。所以可以通过计算草莓果肉中红色、绿色灰度平均值和标准差表征草莓的成熟度。
从RGB彩色图中分割出草莓果实，分别计算R通道和G通道的灰度平均值和标准差。将60颗草莓按照成熟度分为A、B、C 3类，对该60颗草莓的红色、绿色灰度平均值和标准差分析可以看出确实满足预期的理论设想。不同等级样本草莓的R、G像素变化规律见图5。
结合图5a～5d可以看出，3类草莓的红、绿色像素平均值和标准差整体有规律的变化。A类草莓果实红色像素平均值最大且其标准差最小，绿色像素平均值最最小且标准差最大；C类草莓实红色像素平均值最小且其标准差最大，绿色像素平均值最最大且标准差最小。因此选取草莓R、G像素平均值及其标准差作为描述草莓成熟度的特征参数。
3系统测试
随机选取20颗新鲜草莓，将其用来测试系统的准确性和精确度。提取草莓的相关特征参数，如表2所示。
草莓等级判别系统是由60颗人工分类为A、B、C类的样本草莓的特征参数训练出的BP神经网络。现将每颗待测草莓的13个特征参数作为神经网络输入参数，输出值为设定的3个不同值，对应表征草莓优劣的A、B、C 3个等级。测试结果见表3。
由表3可知，BP神经网络得出的结果是优 （A 类）7颗，良（B类）5颗，差（C类）8颗，与人工分类结果对比，准确率达到90%。因此肯定表征草莓等级的形状、大小和成熟度的特征参数选取正确，系统分类方法可行。造成误差的原因有2个，一是草莓叶子带有叶子且叶子大小不一，部分草莓图像中叶子遮盖了很大部分的果肉，以至于图像分割后得到的图像与草莓果肉实际图像有较大的出入，提取的特征参数可信不度不高；二是BP神经网络训练样本过少，影响分级精度。
4结论
该研究综合应用机器视觉、神经网络理论，建立了包括图像采集、图像分割、特征参数提取、模型识别各环节的草莓自动分级方法，并进行了实验验证，得到以下结论：
（1）基于极坐标下草莓几何形状特征、颜色成熟度两类特征参数，用人工神經网络作为识别模型，来划分草莓品质的方法是可行的，与人工分级结果相比，测试中准确度达到90%。
（2）实际操作中要保证图像采集时光照均匀、色温适中，使图像最大程度地反映草莓真实颜色，以提高判别结果的准确度。
参考文献
[1]
乔勇进，王海宏，方强，等.草莓采后处理及贮藏保鲜的研究进展[J].上海农业学报， 2007（23）：109-113.
[2] CAO O， NAGATA M.Study on grade judgment of fruit vegetables using machine vision （Part 3）[J].Journal of Society of High Technology in Agriculture，1997，9（1）：49-59.
[3] 应以斌， 饶秀勤， 赵匀，等.机器视觉技术在农产品品质自动识别中的应用[J].农业工程学报， 2000， 16（1）：103-108.
[4] TAO Y，HEINEMANN P H，VARGHESE Z.Machine Vision for color inspection of potatoes and apples[J].Transaction of ASAE， 1995， 38（5）：1555-1561.
[5] 郭峰， 曹其新， 崔永杰， 等.用于草莓收获机器人的果实定位和果柄检测方法[J].农业工程学报， 2008， 24（10）：89-94.
[6] 曹其新， 吕恬生， 永田雅辉.草莓拣选机器人的开发[J].上海交通大学学报， 1999， 33（7）：880-884.
[7] BaAT6O P M.Strawberry Sorting Using Machine Vision[C].1999 ASAE Annual International Meeting Technical Paper，1999：299-316.
[8] GUO F， CAO Q X， NAGATA M.Fruit detachment and classification method for strawberry harvesting robot[J].International Journal of Advanced Robotic Systems， 2008， 1（5）：41-48.
[9] 张铁中，周天娟.基于BP神经网络的草莓图像分割[J]，中国农业大学学报，2004，9（4）：65-68.
[10] 王婷婷.彩色图像分割方法的研究与实现[D].青岛：山东科技大学，2005.
[11] 王雪光，陈淑红.基于K 均值聚类的成熟草莓图像分割算法[J].农机化研究，2013，6（6）：51-54.
[12] 许晓丽，卢志茂，张格森，等.改进近邻传播聚类的彩色图像分割[J].计算机辅助设计与图形学学报，2012，24（4）：514-519.
[13] 赵燕超，徐丽明.基于多元聚类分析的草莓形状分类算法[J].中国农业大学学报，2008，13（1）：77-80.
[14] 赵静，何东健.果实形状的计算机识别方法研究[J].农业工程学报，2001，3（2）：165-167.
[15] 林开颜，吴军辉，徐力鸿.基于计算机视觉技术的水果形状分级方法[J].农业机械学报，2005，6（6）：72-74.
关键词草莓；图像采集；图像分割；特征提取
中图分类号S126文献标识码
A文章编号0517-6611（2015）21-370-04
草莓的分选是其产后处理的一个关键环节[1]，目前我国对草莓分选大部分采用人工分选。人工分选方法主要依据肉眼观测判断等级，缺乏客观性。草莓大小不一，表面情况复杂，单纯依靠肉眼判断达不到较好的分级效果。而且，由于草莓果实的表面非常柔软脆弱，人工分选容易造成机械损伤，影响草莓的商品价值。因此，研究快速、准确、高效的草莓自动化分选技术及设备具有重要的科学意义和社会经济价值。
对于水果外观品质检测与分级，国内外研究人员开展了许多研究，研究思路主要采用基于计算机图像处理、机器视觉的方法，大多以外观形状规整的一些水果为对象，如苹果、柑橘、西红柿等[2-4]。相比而言，草莓的形状复杂，一般的水果分选原则，如形状、大小、圆度、弯曲度以及长度比等，很难用到草莓上。针对这一问题，近些年，国内外研究人员进行了相关研究[1-8]。曹其新等利用图像信息处理技术，研制出根据草莓的形状和尺寸进行分级的自动分选系统。该草莓分选系统具有一定的分选精度，但效率还有待提高[6]。日本学者Pepito M Bato等建立了检测草莓形状的三维形状测量实验台[7]。Nagata M等研究了在OHTA色度空间下草莓收获机器人的水果分离与分级方法[8]。
从国内外研究状况来看，目前针对草莓的自动化分选技术研究还处于起步发展阶段，缺乏科学统一的分级标准，主要依赖草莓颜色、形状和大小3种参数来划分其优劣等级。但由于草莓外形变化大，表面凹坑较多，黑籽粒分布广，叶子随机覆盖使草莓图像分割处理和特征参数提取难度增大，从而造成草莓等级划分不够精确。笔者在现有研究的基础上，综合运用机器视觉、神经网络等理论方法，以草莓外形轮廓及成熟度作为分级依据，通过实验数据统计，建立极坐标下草莓外形轮廓特征参数及颜色空间下成熟度特征参数的提取方法，以人工神经网络为识別模型，实现对草莓的自动分类。最后，通过实验验证所提出方法的可行性和准确性。
1图像采集与处理
1.1图像采集
对一般水果而言，其形状基本相似，表面光泽，基本没有叶子。而草莓恰恰相反，同种类的草莓相互之间形状差异也比较大，表面颜色分布不均，而且有很多的黑色籽粒和凹坑。为保证草莓采集到的草莓图像尽可能少的受到光照、背景、传输噪声的影响，需要设计一个比较好的图像采集装置平台。
图1为设计的光照控制箱。箱体外层为630 mm×630 mm×710 mm的立体密闭木箱，内层有2块倾角为65°的木板，板面要求为乳白色并保证板面反射光为漫反射。2块倾斜板均在等距高度安装透光度在60%的阳光板，在每个阳光板板上安装色温为5 600～6 300 K、功率4 W的白色长管荧光灯。在密闭箱顶上安装2个散热风机，保证密闭箱内的工作温度稳定。箱子正上方则悬吊安装1个CCD摄像头，镜头到箱底的距离可调。整个装置内的光线均匀适度，尽量保证拍摄到的草莓图像没有暗影、高光点。选取不同颜色作为拍摄背景颜色反复做实验后，结果表明以蓝色作为背景颜色时，对采集到的草莓图像做后期处理效果最好，所以该研究图像选取装置的底板颜色为蓝色。
1.2图像分割
草莓图像分割方法有多种[9-12]，该设计中在蓝色固定背景下采集图像，R通道对应灰度图r1中果实像素值明显大于背景像素值，用灰度像素值全为255的等大小图像r2减去r1，得到新灰度图r3，r3中果实像素值小于背景像素值。由于R中果实像素值较大，故用r3再减去r后得到的新图中草莓果实与背景的像素差值进一步放大，对比更加明显，经过二值图像转换即完成图像分割。该方法运算速度快，处理方便，效果也比较好，具体方法如下：
（1）提取彩色图像2a中R通道，并构造只含R通道的彩色图，并将其转为灰度图r1，如图2b。
（2）构造一个与r1等大小，灰度值全为255的新图r2。
（3）求差r3=r2-r1，得到图2c。再求差r4=r3-r，将r4转化为二值图像，并求反得到目标图像，如图2d。
安徽农业科学2015年
2基于计算机视觉的草莓等级判别
2.1草莓轮廓特征模型
计算机不能直接对得到的图像进行判断，必须借助于从图像中抽取的参数进行计算[13-15]。在线分级处理要求计算的效率较高，为提高计算效率，采用抽取草莓图像形状特征参数的算法：
（1）取草莓果肉图像的重心点O和顶点D，作线段DO并延长交于草莓图像点C，则选定点C为极坐标原点。
（2）以CD为极坐标中心对称轴、C为原点，向轴两边等弧度角间隔分别作4条射线交于图像的边缘，由此得到9条线段分别为：CR1、CR2、CR3、CR4、CD、CL4、CL3、CL2、CL1（图3）。
（3）根据下列参数：
m1=CL1/CD，m2=CL2/CD，m3=CL3/CD，m4=CL4/CD
m5=CR1/CD，m6=CR2/CD，m7=CR3/CD，m8=CR4/CD
选取60颗草莓做数据分析，先将草莓按照形状和大小分为A、B、C 3类，分别对应优、良、次3类，每类20颗草莓。图4记录了60颗草莓中轴CD长度。表1中记录了样本草莓各项形状特征参数变化范围。结合图4和表1中数据分析可知，不同等级草莓的形状参数呈一定规律变化，设计中对每个草莓提取8个相对比值参数和一个径向长度参数来组成草莓形状特征模型。对60颗草莓分3类进行数据分析，A类草莓个头最长，宽度最大，形状也最匀称；B类草莓长度居中，宽度也比A类小；C类草莓长度和B类基本一致，但是果实宽度明显很小。 2.2草莓成熟度判断
颜色是判断草莓是否成熟的重要标志，所以它也是草莓等级划分的重要指标参数。未成熟的草莓颜色有绿、青、浅红等，不过大多数草莓呈现头青色、身红色。成熟度高的草莓R通道灰度平均值较大和G通道的灰度平均值较小，两通道的标准差相对较小，相反不成熟的草莓R通道灰度平均值较小和G通道的灰度平均值较大，且两通道的标准差相对较大。所以可以通过计算草莓果肉中红色、绿色灰度平均值和标准差表征草莓的成熟度。
从RGB彩色图中分割出草莓果实，分别计算R通道和G通道的灰度平均值和标准差。将60颗草莓按照成熟度分为A、B、C 3类，对该60颗草莓的红色、绿色灰度平均值和标准差分析可以看出确实满足预期的理论设想。不同等级样本草莓的R、G像素变化规律见图5。
结合图5a～5d可以看出，3类草莓的红、绿色像素平均值和标准差整体有规律的变化。A类草莓果实红色像素平均值最大且其标准差最小，绿色像素平均值最最小且标准差最大；C类草莓实红色像素平均值最小且其标准差最大，绿色像素平均值最最大且标准差最小。因此选取草莓R、G像素平均值及其标准差作为描述草莓成熟度的特征参数。
3系统测试
随机选取20颗新鲜草莓，将其用来测试系统的准确性和精确度。提取草莓的相关特征参数，如表2所示。
草莓等级判别系统是由60颗人工分类为A、B、C类的样本草莓的特征参数训练出的BP神经网络。现将每颗待测草莓的13个特征参数作为神经网络输入参数，输出值为设定的3个不同值，对应表征草莓优劣的A、B、C 3个等级。测试结果见表3。
由表3可知，BP神经网络得出的结果是优 （A 类）7颗，良（B类）5颗，差（C类）8颗，与人工分类结果对比，准确率达到90%。因此肯定表征草莓等级的形状、大小和成熟度的特征参数选取正确，系统分类方法可行。造成误差的原因有2个，一是草莓叶子带有叶子且叶子大小不一，部分草莓图像中叶子遮盖了很大部分的果肉，以至于图像分割后得到的图像与草莓果肉实际图像有较大的出入，提取的特征参数可信不度不高；二是BP神经网络训练样本过少，影响分级精度。
4结论
该研究综合应用机器视觉、神经网络理论，建立了包括图像采集、图像分割、特征参数提取、模型识别各环节的草莓自动分级方法，并进行了实验验证，得到以下结论：
（1）基于极坐标下草莓几何形状特征、颜色成熟度两类特征参数，用人工神經网络作为识别模型，来划分草莓品质的方法是可行的，与人工分级结果相比，测试中准确度达到90%。
（2）实际操作中要保证图像采集时光照均匀、色温适中，使图像最大程度地反映草莓真实颜色，以提高判别结果的准确度。
参考文献
[1]
乔勇进，王海宏，方强，等.草莓采后处理及贮藏保鲜的研究进展[J].上海农业学报， 2007（23）：109-113.
[2] CAO O， NAGATA M.Study on grade judgment of fruit vegetables using machine vision （Part 3）[J].Journal of Society of High Technology in Agriculture，1997，9（1）：49-59.
[3] 应以斌， 饶秀勤， 赵匀，等.机器视觉技术在农产品品质自动识别中的应用[J].农业工程学报， 2000， 16（1）：103-108.
[4] TAO Y，HEINEMANN P H，VARGHESE Z.Machine Vision for color inspection of potatoes and apples[J].Transaction of ASAE， 1995， 38（5）：1555-1561.
[5] 郭峰， 曹其新， 崔永杰， 等.用于草莓收获机器人的果实定位和果柄检测方法[J].农业工程学报， 2008， 24（10）：89-94.
[6] 曹其新， 吕恬生， 永田雅辉.草莓拣选机器人的开发[J].上海交通大学学报， 1999， 33（7）：880-884.
[7] BaAT6O P M.Strawberry Sorting Using Machine Vision[C].1999 ASAE Annual International Meeting Technical Paper，1999：299-316.
[8] GUO F， CAO Q X， NAGATA M.Fruit detachment and classification method for strawberry harvesting robot[J].International Journal of Advanced Robotic Systems， 2008， 1（5）：41-48.
[9] 张铁中，周天娟.基于BP神经网络的草莓图像分割[J]，中国农业大学学报，2004，9（4）：65-68.
[10] 王婷婷.彩色图像分割方法的研究与实现[D].青岛：山东科技大学，2005.
[11] 王雪光，陈淑红.基于K 均值聚类的成熟草莓图像分割算法[J].农机化研究，2013，6（6）：51-54.
[12] 许晓丽，卢志茂，张格森，等.改进近邻传播聚类的彩色图像分割[J].计算机辅助设计与图形学学报，2012，24（4）：514-519.
[13] 赵燕超，徐丽明.基于多元聚类分析的草莓形状分类算法[J].中国农业大学学报，2008，13（1）：77-80.
[14] 赵静，何东健.果实形状的计算机识别方法研究[J].农业工程学报，2001，3（2）：165-167.
[15] 林开颜，吴军辉，徐力鸿.基于计算机视觉技术的水果形状分级方法[J].农业机械学报，2005，6（6）：72-74.