论文部分内容阅读
[摘 要 ]在气压式微喷系统的基础上，使用相应的机器视觉算法，基于LabVIEW开发平台及IMAQ Vision视觉工具包搭建视觉检测系统。该系统能通过BCG调节、二值化及形态学功能，最终实现对微小液滴高速移动的检测与运动分析。通过这样的液滴视觉监测系统，操作人员能预估实验过程中产生的液滴体积，进而更加有效地指导气微量液体的分配作业。
[关键词]液体微量分配技术;机器视觉;气压式微喷系统; LabVIEW开发;图像处理
[中圖分类号]TN405 [文献标志码]A [文章编号]2095–6487（2021）06–0–03
[Abstract]Based on the pneumatic micro-jet system， the corresponding machine vision algorithm is used to build a vision inspection system based on the LabVIEW development platform and IMAQ Vision vision toolkit. The system can finally realize the detection and motion analysis of the high-speed movement of small droplets through BCG adjustment， binarization and morphological functions. Through such a droplet visual monitoring system， the operator can estimate the droplet volume generated during the experiment， and then guide the distribution of gas and trace liquids more effectively.
[Keywords]liquid micro-distribution technology; machine vision; pneumatic micro-jet system; LabVIEW development; image processing
1 气压式微喷系统的构成与工作原理
文章选用一种气压式式液体微量分配方法，即利用压电致动器带动撞针进行高频振动，同时配合气泵和压力调节器为储液瓶中的液体提供压力，实现对高黏度液体的快速、微量分配。
1.1 气压式微喷系统工作原理
图1为气压式微喷系统的组成，大致由电磁阀、液路模块、气路模块、控制电路模块和反馈监测模块5部分组成。
初始电路通电，向试剂瓶中充入带测试剂，此时外界空气在气泵压缩作用下存储在气罐中，经过空气过滤器过滤后进入电器比例阀。
开始喷射实验前设置输入电压，电气比例阀输出对应的线性气压，经过电磁阀进入试剂瓶中。气压驱使试剂沿着管道进入VHS电磁阀等待喷射。
设置电磁阀的周期、开启时间和循环次数。PCB板首先向电磁阀施加高电平信号，电磁阀通道打开，外部气压驱动液体流出喷嘴;开启时间结束，电磁阀被施以低电平，阀体关闭，被切断的液体形成液滴，代表一个液滴的喷射周期结束。
2 液滴在线视觉检测平台与程序的开发
在液滴分配过程中，需要检测液滴体积，以确保其具有高分配准确度。文章利用高速相机配合频闪灯拍摄液滴图像，同时使用采用Labview及其模组Vision Assistant开发相应程序，分析输出相关数据。
2.1 视觉检测平台的搭建
视觉检测平台大致，如图2（a）所示。脉冲发生器（BNC-505）用来产生两路频率不同但是同步的脉冲序列。第一路脉冲频率为1 Hz，用来触发信号发生器产生突发脉冲序列，脉冲信号传递给电磁阀驱动电路以激励电磁阀喷射液滴;另一路触发信号频率为10000 Hz，由另一个脉冲发生器（BNC-575）接收后，加上设定的延迟时间，输出给工业相机以控制拍照时间。
如图2（b）所示，第二路脉冲序列第一路脉冲序列均存在一个逐渐增加的延迟时间，它是由相机的响应时间决定的。实验时调整初始延迟时间以保证压电喷头的激励时间点与LED的闪光时间点一致，同时相机的开门也处于打开状态。这样，一个完整的液滴产生过程才能被记录下来。
为了得到液滴真实尺寸，还应得到一个图像像素值与实际尺寸的换算比，这一数值与相机镜头参数、被测物体与镜头距离有关，可以通过直接法或间接法得到。
2.2 程序构成模块设计数据计算模型
检测程序的输出结果应包含以下要素：液滴半径、液滴体积及飞行速度等要素。其中液滴半径可近似地通过公式（1）计算。
式中RDrop为液滴半径（μm）;Ytop，Ybottom为二值化图像中粒子顶部与底部像素坐标值（pixel）;Xleft，Xright为二值化图像中粒子左端与右端像素坐标值（pixel）;μ为实际值与像素值换算比（μm/pixel）。
由于相机拍摄图像的帧率已知，因此可得到2张连续图像的间隔时间，液滴的飞行速度可以通过公式（2）进行计算。
式中VDrop为液滴速度（m/s）;Px1，Px2为两张连续照片的液滴形心在x轴上的坐标像素值（pixel）;Py1，Py2为两张连续照片的液滴形心在y轴上的坐标像素值（pixel）;F为拍摄图像时的帧率（frame/s）;μ为实际值与像素值换算比（μm/pixel）。
2.2.1 粒子原始数据分析
必须对图像进行预处理并二值化方可对二值化图像进行粒子分析。文章将该部分编写成子VI，共包含9个输入和4个输出。 2.2.1.1 创建图像
使用两个函数IMAQ Create与IMAQ ReadFile为图像创建临时内存，赋予图像名及图像类型（文章为Grayscale灰度）。将所需要的图像在计算机中的路径字符串输入并读取该图像，准备对其后续处理。
2.2.1.2 设定ROI
初始图像一般只有一部分区域含有待分析液滴，其他部分可能包含一些不需要分析的对象，这样的区域被称为ROI（Region of Interest），需要手动划分进行后续处理。
2.2.1.3 BCG調节
得到的图像里液滴与背景的分界线通常比较模糊，直接二值化效果并不理想，因此需要对图像的亮度、对比度及伽马值（合称为BCG）进行调节。
二值化为了进行粒子分析，采集到的灰度图像需要转化为二值图像，以便突出液滴粒子，获得粒子的大小、面积和中心。
二值化过程的原理就是设置一个阈值范围，令像素值在其范围内的所有像素点都被判定为属于特定物体，即令其在二值化图像里数值为1;其余被排除的像素点，值为0。粒子图像背景亮度最高，同时会夹杂一些灰色的杂点，而液滴颜色最深，亮度最低，因此二值化阈值下限可以取0，确保液滴所有像素都在可取范围内。
二值化相关函数需要一个数据簇作为参数输入，该数据簇由两个数值元素组成，分别代表阈值的上下限。
2.2.1.4 形态学处理
经二值化处理后的图像可能含有杂点小颗粒，同时液滴除边界外也应被剔除。
程序可以人为选择开启或关闭这些功能，方便前文的二值化处理步骤。
2.2.1.5 粒子数据分析
得到二值化处理的图像后，即可对目标粒子进行数据分析，使用Particle Analysis功能并从中选取所需数据类型即可输出。
2.2.2 数据后期处理与总程序框架
图3为总程序框图，分为图像输入、参数调节、数据处理和重置程序4个环节。
2.2.2.1 图像输入环节
当选择了一个图像文件时，程序开始执行。它将文件路化为输入图像，同时将选取的ROI数据簇设置存储在局部变量内。
2.2.2.2 参数调节环节
本环节调用了前文的子VI，将原始图像、BCG参数、二值化上限和形态学处理开关输入子VI后，VI将以数组形式输出至下一环节，同时将二值化处理后的图像通过控件显示。
2.2.2.3 数据处理环节
参数调节与原始数据采集环节利用前文提到的公式通过原数据计算液滴体积。当输入了2张或以上的图片时，开始计算液滴运动速度，分别在前面板显示。
2.3 实验效果分析
为了验证基于本程序检测液滴体积的精度，需要求出该液滴的实际体积。首先利用间接法测量出每次实验时试剂的密度，同时利用质量天平称取喷射出来的液滴质量，根据质量-密度换算公式计算出液滴的体积，即用质量除以密度得到液滴的实际体积，并计算出测量时的相对误差，如表1所示。
从表1中可以看到，基于文章粒子分析程序检测得到的液滴体积，其相对误差可以控制在6%左右，基本可以验证该方案的可靠性。
3 结束语
文章主要是针对基于机器视觉的微喷视觉检测系统的程序开发进行研究，通过这样的液滴视觉监测系统，操作人员能预估实验过程中产生的液滴体积，进而很好地指导气压阀控式微喷系统进行分配作业。
虽然文章完成了预期目标的基本要求，但由于本课题涉及的机器视觉相关知识有着一定深度和复杂性，同时研究的时间和能力有限，文中设计开发的微喷视觉检测系统的程序存在一定的局限性，难以适用于较为复杂多变的微喷环境。同时由于部分参数仍需手动调节，尚未达到真正的生产自动化要求，未来可以将人工智能与机器视觉相结合，在此程序系统的基础上进行更深入的开发与完善。
参考文献
[1] Kye-Si Kwon，Steven Ready.Practical Guide to Machine Vision Software.Copyright 2015 Wiley-VCH Verlag GmbH & Co. KGaA，Boschstr.12，69469 Weinheim，Germany.13-289.
[2] 罗庆生.我的机器人[M].北京：北京理工大学出版社，2016.
[3] 贾振忠，宋立滨，杨东超，等.接触式点样机器人及相关技术研究进展[J].机器人，2007，29（2）：179-185.
[4] 刘亚欣，陈立国，孙立宁.基于复合智能控制的非接触式液体定量分配系统[J].机械工程学报，2010，46（20）：175-181.
[5] 路士州.压电驱动撞针式高黏性液体微量分配技术研究[D].哈尔滨：哈尔滨工业大学，2015.
[6] 姚玉峰，路士州，刘亚欣，等.微量液体自动分配技术研究综述[J]. 机械工程学报，2013，49（14）：140-153.
[7] ZHENG G F，LI W W，WANG X，et al. Precision deposition of a nanofibre by near-field electrospinning[J].Journal of Physics D：Applied Physics，2010（5）43：1-6.
[8] FAN L，XUE M，KANG Z X，et al.Electrospinning technology applied in zeolitic imidazolate framework membrane synthesis[J].Journal of Materials Chemistry，2012（9）：25272-25276.
[9] 常家庆.压电式微量液滴分配的机理与实验研究[D].哈尔滨：哈尔滨工业大学，2017.
[10] 曲昆鹏，郑丽颖.基于目标、背景比例的灰度图像自动阈值选取法[J].应用科技，2010，37（2）：52-54.
[关键词]液体微量分配技术;机器视觉;气压式微喷系统; LabVIEW开发;图像处理
[中圖分类号]TN405 [文献标志码]A [文章编号]2095–6487（2021）06–0–03
[Abstract]Based on the pneumatic micro-jet system， the corresponding machine vision algorithm is used to build a vision inspection system based on the LabVIEW development platform and IMAQ Vision vision toolkit. The system can finally realize the detection and motion analysis of the high-speed movement of small droplets through BCG adjustment， binarization and morphological functions. Through such a droplet visual monitoring system， the operator can estimate the droplet volume generated during the experiment， and then guide the distribution of gas and trace liquids more effectively.
[Keywords]liquid micro-distribution technology; machine vision; pneumatic micro-jet system; LabVIEW development; image processing
1 气压式微喷系统的构成与工作原理
文章选用一种气压式式液体微量分配方法，即利用压电致动器带动撞针进行高频振动，同时配合气泵和压力调节器为储液瓶中的液体提供压力，实现对高黏度液体的快速、微量分配。
1.1 气压式微喷系统工作原理
图1为气压式微喷系统的组成，大致由电磁阀、液路模块、气路模块、控制电路模块和反馈监测模块5部分组成。
初始电路通电，向试剂瓶中充入带测试剂，此时外界空气在气泵压缩作用下存储在气罐中，经过空气过滤器过滤后进入电器比例阀。
开始喷射实验前设置输入电压，电气比例阀输出对应的线性气压，经过电磁阀进入试剂瓶中。气压驱使试剂沿着管道进入VHS电磁阀等待喷射。
设置电磁阀的周期、开启时间和循环次数。PCB板首先向电磁阀施加高电平信号，电磁阀通道打开，外部气压驱动液体流出喷嘴;开启时间结束，电磁阀被施以低电平，阀体关闭，被切断的液体形成液滴，代表一个液滴的喷射周期结束。
2 液滴在线视觉检测平台与程序的开发
在液滴分配过程中，需要检测液滴体积，以确保其具有高分配准确度。文章利用高速相机配合频闪灯拍摄液滴图像，同时使用采用Labview及其模组Vision Assistant开发相应程序，分析输出相关数据。
2.1 视觉检测平台的搭建
视觉检测平台大致，如图2（a）所示。脉冲发生器（BNC-505）用来产生两路频率不同但是同步的脉冲序列。第一路脉冲频率为1 Hz，用来触发信号发生器产生突发脉冲序列，脉冲信号传递给电磁阀驱动电路以激励电磁阀喷射液滴;另一路触发信号频率为10000 Hz，由另一个脉冲发生器（BNC-575）接收后，加上设定的延迟时间，输出给工业相机以控制拍照时间。
如图2（b）所示，第二路脉冲序列第一路脉冲序列均存在一个逐渐增加的延迟时间，它是由相机的响应时间决定的。实验时调整初始延迟时间以保证压电喷头的激励时间点与LED的闪光时间点一致，同时相机的开门也处于打开状态。这样，一个完整的液滴产生过程才能被记录下来。
为了得到液滴真实尺寸，还应得到一个图像像素值与实际尺寸的换算比，这一数值与相机镜头参数、被测物体与镜头距离有关，可以通过直接法或间接法得到。
2.2 程序构成模块设计数据计算模型
检测程序的输出结果应包含以下要素：液滴半径、液滴体积及飞行速度等要素。其中液滴半径可近似地通过公式（1）计算。
式中RDrop为液滴半径（μm）;Ytop，Ybottom为二值化图像中粒子顶部与底部像素坐标值（pixel）;Xleft，Xright为二值化图像中粒子左端与右端像素坐标值（pixel）;μ为实际值与像素值换算比（μm/pixel）。
由于相机拍摄图像的帧率已知，因此可得到2张连续图像的间隔时间，液滴的飞行速度可以通过公式（2）进行计算。
式中VDrop为液滴速度（m/s）;Px1，Px2为两张连续照片的液滴形心在x轴上的坐标像素值（pixel）;Py1，Py2为两张连续照片的液滴形心在y轴上的坐标像素值（pixel）;F为拍摄图像时的帧率（frame/s）;μ为实际值与像素值换算比（μm/pixel）。
2.2.1 粒子原始数据分析
必须对图像进行预处理并二值化方可对二值化图像进行粒子分析。文章将该部分编写成子VI，共包含9个输入和4个输出。 2.2.1.1 创建图像
使用两个函数IMAQ Create与IMAQ ReadFile为图像创建临时内存，赋予图像名及图像类型（文章为Grayscale灰度）。将所需要的图像在计算机中的路径字符串输入并读取该图像，准备对其后续处理。
2.2.1.2 设定ROI
初始图像一般只有一部分区域含有待分析液滴，其他部分可能包含一些不需要分析的对象，这样的区域被称为ROI（Region of Interest），需要手动划分进行后续处理。
2.2.1.3 BCG調节
得到的图像里液滴与背景的分界线通常比较模糊，直接二值化效果并不理想，因此需要对图像的亮度、对比度及伽马值（合称为BCG）进行调节。
二值化为了进行粒子分析，采集到的灰度图像需要转化为二值图像，以便突出液滴粒子，获得粒子的大小、面积和中心。
二值化过程的原理就是设置一个阈值范围，令像素值在其范围内的所有像素点都被判定为属于特定物体，即令其在二值化图像里数值为1;其余被排除的像素点，值为0。粒子图像背景亮度最高，同时会夹杂一些灰色的杂点，而液滴颜色最深，亮度最低，因此二值化阈值下限可以取0，确保液滴所有像素都在可取范围内。
二值化相关函数需要一个数据簇作为参数输入，该数据簇由两个数值元素组成，分别代表阈值的上下限。
2.2.1.4 形态学处理
经二值化处理后的图像可能含有杂点小颗粒，同时液滴除边界外也应被剔除。
程序可以人为选择开启或关闭这些功能，方便前文的二值化处理步骤。
2.2.1.5 粒子数据分析
得到二值化处理的图像后，即可对目标粒子进行数据分析，使用Particle Analysis功能并从中选取所需数据类型即可输出。
2.2.2 数据后期处理与总程序框架
图3为总程序框图，分为图像输入、参数调节、数据处理和重置程序4个环节。
2.2.2.1 图像输入环节
当选择了一个图像文件时，程序开始执行。它将文件路化为输入图像，同时将选取的ROI数据簇设置存储在局部变量内。
2.2.2.2 参数调节环节
本环节调用了前文的子VI，将原始图像、BCG参数、二值化上限和形态学处理开关输入子VI后，VI将以数组形式输出至下一环节，同时将二值化处理后的图像通过控件显示。
2.2.2.3 数据处理环节
参数调节与原始数据采集环节利用前文提到的公式通过原数据计算液滴体积。当输入了2张或以上的图片时，开始计算液滴运动速度，分别在前面板显示。
2.3 实验效果分析
为了验证基于本程序检测液滴体积的精度，需要求出该液滴的实际体积。首先利用间接法测量出每次实验时试剂的密度，同时利用质量天平称取喷射出来的液滴质量，根据质量-密度换算公式计算出液滴的体积，即用质量除以密度得到液滴的实际体积，并计算出测量时的相对误差，如表1所示。
从表1中可以看到，基于文章粒子分析程序检测得到的液滴体积，其相对误差可以控制在6%左右，基本可以验证该方案的可靠性。
3 结束语
文章主要是针对基于机器视觉的微喷视觉检测系统的程序开发进行研究，通过这样的液滴视觉监测系统，操作人员能预估实验过程中产生的液滴体积，进而很好地指导气压阀控式微喷系统进行分配作业。
虽然文章完成了预期目标的基本要求，但由于本课题涉及的机器视觉相关知识有着一定深度和复杂性，同时研究的时间和能力有限，文中设计开发的微喷视觉检测系统的程序存在一定的局限性，难以适用于较为复杂多变的微喷环境。同时由于部分参数仍需手动调节，尚未达到真正的生产自动化要求，未来可以将人工智能与机器视觉相结合，在此程序系统的基础上进行更深入的开发与完善。
参考文献
[1] Kye-Si Kwon，Steven Ready.Practical Guide to Machine Vision Software.Copyright 2015 Wiley-VCH Verlag GmbH & Co. KGaA，Boschstr.12，69469 Weinheim，Germany.13-289.
[2] 罗庆生.我的机器人[M].北京：北京理工大学出版社，2016.
[3] 贾振忠，宋立滨，杨东超，等.接触式点样机器人及相关技术研究进展[J].机器人，2007，29（2）：179-185.
[4] 刘亚欣，陈立国，孙立宁.基于复合智能控制的非接触式液体定量分配系统[J].机械工程学报，2010，46（20）：175-181.
[5] 路士州.压电驱动撞针式高黏性液体微量分配技术研究[D].哈尔滨：哈尔滨工业大学，2015.
[6] 姚玉峰，路士州，刘亚欣，等.微量液体自动分配技术研究综述[J]. 机械工程学报，2013，49（14）：140-153.
[7] ZHENG G F，LI W W，WANG X，et al. Precision deposition of a nanofibre by near-field electrospinning[J].Journal of Physics D：Applied Physics，2010（5）43：1-6.
[8] FAN L，XUE M，KANG Z X，et al.Electrospinning technology applied in zeolitic imidazolate framework membrane synthesis[J].Journal of Materials Chemistry，2012（9）：25272-25276.
[9] 常家庆.压电式微量液滴分配的机理与实验研究[D].哈尔滨：哈尔滨工业大学，2017.
[10] 曲昆鹏，郑丽颖.基于目标、背景比例的灰度图像自动阈值选取法[J].应用科技，2010，37（2）：52-54.