基于机器视觉技术的单点多目标结构位移监测

来源 :中国建筑科学 | 被引量 : 0次 | 上传用户:tianshanfeiren
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘  要:基于机器视觉的动态位移监测技术,由于其具有的非接触、实时性、远距离、便携性等优点近年来得到了较快发展。本文提出了一种基于机器视觉技术的单点多目标结构位移监测方法,详细阐述了基于数字图像处理技术的模板匹配算法和多目标位移计算方法。采用工业数码相机和高倍变焦镜头,利用图像化编程语言LabVIEW开发了单点多目标位移监测系统,并对该系统进行了试验研究。研究结果表明,基于机器视觉技术的单点多目标结构位移监测方法现实可行,适用于大型结构的同步多点振动或转动位移监测。
   关键词:结构健康监测;机器视觉;模板匹配;LabVIEW;单点多目标
   中图分类号:TU198+.3    文献标识码:A
  Single-point multi-target structural displacement monitoring based on machine vision technology
  Zhang Xiao-ming 1  Fan Ke-qing1  Ye Xiao-wei2
  (1. School of Information Engineering, Wuyi University, Jiangmen 529020, China)
  2. College of Civil Engineering and Architecture, Zhejiang University, Hangzhou 310058, China.)
   Abstract: Machine vision-based dynamic displacement monitoring technology has gained rapid development in recent years due to its advantages in terms of non-contact, real-time, long-distance, easy to implementation, etc. In this paper, a single-point multi-target structural displacement monitoring method based on machine vision technology is proposed. The pattern matching algorithm based on the digital image processing technology as well as the multi-target displacement calculation method are presented in detail. A single-point multi-target structural displacement monitoring system is developed by use of the industrial digital camera and the high-power zoom lens, together with the graphical programming language LabVIEW. The results of the laboratory tests demonstrate that the method of single-point multi-target structural displacement monitoring based on the machine vision technology is feasible, and suitable for synchronous monitoring of the multi-target oscillatory or rotational displacement of large-scale structures.
   Keywords: structural health monitoring; machine vision; pattern matching; LabVIEW; single-point multi-target
   0.引言
   结构健康监测已经成为土木工程领域重要的研究课题之一。结构的实时动态变形、振动或转动位移监测是结构健康监测和故障诊断监测中重要的研究内容,也是分析工程结构力学特性的一个基本物理参数。基于机器视觉技术的新兴结构位移监测方法因其具有的远距离、非接触、实时性等优点近年来在国内外得到了较快发展[1-2]。Li等[3]提出了基于图像运动模糊算法的机器视觉方法用于测量结构振动振幅,并对单个被测物体进行试验研究验证该方法的可行性。Lee等[4]基于数字图像处理技术并利用商业相机构建了基于机器视觉的转动角度测量系统,在实验室测试中测量误差可达到1.0%。Fukuda等[5]基于鲁棒性物体搜寻算法研发机器视觉位移测量系统,对Vincent Thomas大桥的结构位移进行测量,并与线性可变差动变压器(LVDT, linear variable differential transformer)位移测量系统进行同步测量,两者的测量结果保持很好的一致性。
   以上研究和应用都是基于单目视觉单目标(简称单点单目标)的结构位移监测,即单点视觉只能监测单个目标,而不能同时实现单点多目标的实时监测。基于此,本文提出了基于数字图像处理技术的位移计算方法,描述了模板匹配算法对测量目标点的准确定位,研发了基于机器视觉技术的单点多目标结构位移监测系统。通过试验研究验证了本文提出的方法以及系统的可行性,从而提高了机器视觉技术在结构健康监测中的功效并节约了应用成本。    1.模板匹配算法
   基于机器视觉的位移监测系统的理论核心是数字图像处理技术中的模板匹配算法,而模板匹配算法的数学理论核心是相关运算。因此,模板匹配算法又可称为相关匹配算法[6]。
   1.1相关运算
   从信号角度来分析,相关表示两个信号或一个信号自身不同时刻的相关程度。两个一维连续时间信号w(t)与f(t)的相关运算由下面的积分所定义,即:
                (1)
              (2)
   其中,式(1)表示自相关,式(2)表示互相关。
   当两信号w和f为离散时间信号时,相关运算定义为:
               (3)
   式中w(n),f(n)表示两个离散时间信号函数,x表示位移量。
   随着计算机技术的不断进步,以计算机为平台的数字信号处理得到越来越广泛的应用。图像处理技术以数字信号处理为背景,数字图像处理技术中的模板匹配算法源于数字信号处理的相关(或卷积)运算。
   1.2数字图像的相关匹配算法
   二维数字图像本质上是一种二维离散时间信号,由式(3)可以得到二维数字图像的相关运算表达式为:
        (4)
   式中,w和f表示两幅数字图像,且设其尺寸大小分别为M×N和m×n,(x,y)表示图像w的中心点在平面坐标系中的位置坐标,假设m=2a+1且n=2b+1,其中a,b为正整数,则求和的上下限s和t表示为w和f的共同范围,即乘积求和的重叠部分。
   图1根据定义式描述了两幅数字图像f(x,y)和w(x,y)的相关运算过程。在实际的数字图像识别技术中,图像w往往是从图像f截取包含有目标点的模板图像,因此亦称图像w为模板,图像f称为原始图像。图1(a)显示了数字图像f(x,y)和w(x,y),显然M=N=5,m=n=3。以f(x,y)左上角顶点为坐标原点建立直角平面坐标系,则(x,y)表示坐标系的坐标,而幅值f和w表示坐标系某个坐标位置(x,y)的图像灰度值,如图1(b)所示。要使w中的每个元素都可以访问到f中的每个元素,则需要将f进行适当填充,因此在图像f的顶部和底部填充m-1行0,在左侧和右侧填充n-1列0。要使相关匹配得出全部结果,就要不断移动w位置,即不断改变其中心点坐标(x,y),得出相应相关值,直至w中的每个元素访问f中的每个元素,从而得出全部相关结果,如图1(f)所示。显然,最大相关结果r(2,2)=285,即当模板w中心点位置在(x, y)=(2,2)时,即模板w和原始图像f中的目标图像w重合时,模板w和原始图像f达到最佳匹配。
  
  图1    相关匹配算法
   由于相关运算是相乘求和,故运算结果对w和f的尺寸大小变化比较敏感。作为替代,可以使用如下归一化相关系数:
   (5)
   其中,求和的上下限取w和f的共同范围,是模板的平均值(只计算一次),是f中与w重合区域的平均值。通常,我们将w称为模板,而将相关称为模板匹配。可以证明,γ(x, y)的值域为[-1,1]。当归一化的w和f中对应的归一化区域
  相同时,γ(x,y)出现最大值,即说明了最大相关,也即最佳匹配。
   1.3模板匹配算法的Matlab仿真
   根据模板匹配算法,利用Matlab进行数字图像的模板匹配仿真。如图2(a)所示,视觉系统获取原始图像f,图像来源于昂船洲大桥夜晚一幅照片。监测目标为斜拉索上的高亮度灯,即作为目标点。以f左上角顶点为坐标原点建立直角坐标系。从原始图像中截取目标图像作为模板w,如图2(b)所示,然后将模板w和f进行相关匹配,即进行相关运算,得出全部匹配结果如图2(c)所示。最后寻找出最佳匹配位置,即相关运算最大值所在位置,如图2(d)所示的最亮点位置像素坐标为(1263,875),从而得到最佳匹配位置。
  
   (a) 原始图像         (b) 目标点模板        (c) 相关系数结果      (d) 最佳匹配位置
  图2   模板匹配算法仿真
   2.单点多目标结构位移监测方法
   单点多目标是指一个成像系统,即单目视觉进行图像获取,同时以多个目标点为监测对象。然而,当多个目标点的形状、灰度、颜色等都几近相同时,那么截取的模板也是几近相同,在基于相关匹配算法的位移监测方法中会造成多个目标点识别混乱。为了解决这一难题,本文提出了区域划分方法,即在同一原始图像中以包含各个目标点为区域核心进行多个ROI (Region of interest)划分,使每个ROI中只有一个目标点,从而一幅原始图像被划分为多个分别只包含一个目标点的ROI,而且多个ROI仍在原来的坐标系中。如图3所示演示了区域划分方法。因此该方法不仅解决了识别混乱问题,而且大大减少了总像素运算量。
  图3    区域划分流程图
   区域划分方法虽然解决了目标点的识别混乱问题,但对于对目标点的旋转位移监测则存在另一问题:在结构旋转过程中,以包含监测目标点的多个ROI会因为旋转而混叠,即ROI和它包含的目标点不一致。针对这一特殊情况,提出区域坐标反馈方法。如图4所示,将前一时刻同时得到的ROI坐标值加上下一时刻目标点的坐标值得到下一时刻ROI的坐标值,并随之改变ROI的位置。从而保证了ROI永远“包围”着目标点,进一步保证了目标识别的精度。     根据区域划分方法和区域坐标反馈方法以及模板匹配算法,并利用数据并行处理技术即可得到基于机器视觉技术的单点多目标结构位移监测方法。
   3.试验研究
   为了验证基于机器视觉技术的单点多目标位移监测方法,基于该方法开发了单点多目标结构位移监测系统,并对该系统进行试验研究,并进一步分析了不同工况下的试验测量数据。
  
  图4    区域坐标反馈流程图
   3.1系统构成
   机器视觉位移测量系统硬件部分主要包括:(a)工业数码
  相机,
  图5 基于机器视觉技术的单点多目标位移监测系统硬件组成
   工业数码相机采用德国Allied Vision Technologies (AVT)公司生产的百万像素级千兆网接口的电荷耦合器件(CCD, charge-coupled device)工业数码相机,型号为Prosilica GE1050,像素大小为1024×1024,在最大分辨率下,帧速率可达60Hz。工业镜头采用美国NAVITAR公司生产的24倍变焦工业镜头,可以实现超长工作距离的位移测量。笔记本电脑为DELL公司生产的便携式电脑。以太网线为6类线或以上,满足数据的高速传输。
   机器视觉位移测量系统软件基于美国国家仪器(NI, National Instruments)公司研制的图形化编程语言LabVIEW开发,软件界面如图6所示。
   3.2试验测试
   为了验证基于机器视觉技术的单点多目标位移监测的可行性,对该系统进行定量测量试验。如图7(a)所示,在被测对象风涡轮机的三个叶片上分别贴上三个LED灯,已知三个LED灯到风涡轮中心的半径分别为160mm、180mm和200mm,且用刻度尺测量得160mm半径和200mm半径组成三角形的第三个边长为286mm。如图7(b)所示,基于机器视觉的单点多目标位移测量系统以45m的工作距离平视监测风涡轮三个叶片上的LED灯[7],测量三个灯在竖向和横向上的动态位移及其平面上的运动轨迹。
   为了验证基于机器视觉技术的单点多目标结构位移监测系统对于被监测对象在不同工作条件下的监测性能,试验条件设置为风涡轮在不同转速下,该系统以最大采样率60Hz进行多目标结构位移监测。监测结果经数据分析得到风涡轮分别在不同转速下的LED灯横向和竖向位移以及运动轨迹图的对比数据,如图8所示。其中(a1)、(a2)、(a3)、(a4)和(a5)分别为风涡轮在自由转速(手动转动风涡轮一周)、30转/分、60转/分、90转/分和120转/分下三个LED灯横向和竖向的位移曲线图,(b1)、(b2)、(b3)、(b4)和(b5)分别为风涡轮在不同转速下对应的三个LED灯运动轨迹图,(c1)、(c2)、(c3)、(c4)和(c5)分别为对应的LED灯运动轨迹图顶点位移的放大图。
  图6   基于机器视觉技术的单点多目标位移监测系统软件界面
  
  
  图7    试验研究装置
   从运动轨迹图及其顶点处放大图可看出,由基于机器视觉技术的单点多目标结构位移监测系统测量出的三个LED的运动半径分别在200mm、180mm和160mm基准线上,这与试验前三个LED灯的半径设置值是一致的。从而说明了该系统在单点多目标的结构位移监测中是可靠的,也是可行的。但当风涡轮转速超过150转/分时,系统监测结果显示出监测数据的紊乱,这是由于相机的最大采样率不足以应对被测对象的转动速度所导致的。
  图8   单点多目标结构位移及其运动轨迹
   4.结论
   (1)本文提出了基于机器视觉技术的单点多目标结构位移监测方法,基于数字图像处理技术中的模板匹配算法研发了监测系统用于单点多目标结构位移实时监测,通过试验研究验证了该系统的可行性。
   (2)基于机器视觉技术的单点多目标结构位移监测方法具有非接触、实时性、远距离等优点,在结构健康监测的多个目标点同步监测中具有广泛的应用前景。
   (3)在现实应用中,系统的性能在一定程度上受到硬件设备的制约,在监测不同转速或振动频率的结构位移时要根据实际需要进行系统的升级构建。
  参考文献
  [1] J.J. Lee, Y. Fukuda, M. Shinozuka, et al. Development and application of a vision-based displacement measurement system for structural health monitoring of civil structures [J]. Smart Structures and Systems. 2007, 3(3): 373-384.
  [2] G.A. Stephen, J.M.W. Brownjohn, C.A. Taylor. Measurement of static and dynamic displacements from visual monitoring of the Humber Bridge [J]. Engineering Structures. 1993, 15(3): 197-208.
  [3] Q. Li, S.G. Wang, B.Q. Guan, et al. A machine vision method for the measurement of vibration amplitude [J]. Measurement Science and Technology. 2006, 15(2007): 1477-1486.
  [4] J.J. Lee, H.N. Ho, J.H. Lee. A vision-based dynamic rotational angle measurement system for large civil structures [J]. Sensors. 2012, 12: 7326-7336.
  [5] Y. Fukuda, M. Feng, Y. Narita, et al. Vision-based displacement sensor for monitoring dynamic response using robust object search algorithm [C]. IEEE Sensors. 2010, 1928-1931.
  [6] H Haddadi, S Belhabib. Use of rigid-body motion for the investigation and estimation of the measurement errors related to digital image correlation technique [J]. Optics and Lasers in Engineering. 2008, 46(2): 185-196.
  [7] R. Pierre, N Andreff, M Dhome, et al. Experimental evaluation of a vision-based measuring device for parallel machine-tool calibration [J]. Intelligent Robots and Systems. 2002, 2: 1868-1873.
其他文献
摘 要:施工成本分析时,三个方法要掌握,比较因素分析法,差额计算、比率法,各种方法要理解,遇到考题会应用。三个核算会区别,会计核算的时候,价值核算是核心,业务核算是制度,根据需要来建立,统计核算的时候,会计、业务为基础,三者之间的比较,两个方面来阐述,一是范围的比较,二是计量的尺度,业务核算范围广,统计核算尺度宽。 综合成本分析时,掌握三个基本法,月度分析成本法,年度成本分析法,成本综合分析法,区
期刊
摘 要:在钢结构工程施工管理中,安全尤为重要,本文主要从钢结构施工过程的临边、洞口、高处作业的防护、材料吊运、吊装动火、作业现场安全、用电警示标志和警戒线的使用等方面深入分析研究了如何保障施工的安全性。  关键词:钢结构;施工;安全  Steel Construction Safety Control Management  Ma Bao,Zhao Zhen-hua  (Shandong Mini
期刊
摘 要:当今社会,很多人认为设计与施工存在矛盾的地方,尤其是业主、设计人员、施工人员等,但笔者认为设计与施工在建筑行业内是相互依存的,两方面的合作是一个长期过程。结构设计中需要考虑施工的可行性和易操作性;施工需要以结构设计为依据;设计人员和施工人员都必须提高自身的专业技术水平,通力合作,有强烈的责任心而不是以自我为中心。建筑关乎百年大计,结构设计与施工都是严肃而严谨的工作,只有两者共同协调发展,建
期刊
摘 要:本文通过对五种公共建筑空间组合方式的建设、用地、采光、遮阳、通风、节能等方面的特点进行对比分析,论证混合式三(内外回廊式)是具有自然通风、采光、遮阳,节能的学校公共建筑的最佳空间组合方式。  关键词:学校公共建筑;空间组合方式;比较;节能  Comparison of several ways the public school building space combined  Liang
期刊
摘 要:介绍机制砂使用于水泥混凝土中的性质及应用性能。  关键词:机制砂;混凝土;技术性能  Mechanisms of sand in cement concrete  Meng Ling-ji 1,An Ping 2,Fan Jin-guo3  (1 Rizhao Port Group Co., Ltd.; 2 Rizhao City Roads Agency;  3 Rizhao City
期刊
摘 要:施工项目的成本控制,通常是指在项目成本的形成过程中,对生产经营所消耗的人力资源、物质资源和费用开支,进行指导、监督、调节和限制,及时纠正将要发生的偏差,把各项生产费用控制在计划成本的范围之内,以保证成本目标的实现。由于项目管理是一次性行为,它的管理对象是一个具体的工程项目,并将随着项目建设的完成而结束其历史使命。所以在施工期间,项目成本能否降低,有无经济效益,得失在此一举,不可逆转,会有很
期刊
摘 要:防洪水标准是指防洪水设施应具备的防洪(或防潮)能力,通常以洪水的重现期或出现频率表现。一般情况下,当实际放生的洪水小于防洪标准洪时,通过防洪系统的合理运用,实现防洪对象的防洪安全。由于历史最大洪水会被新的更大的洪水所超过,所以任何防洪工程都只能具有一定的防洪能力和相对的安全度。根据保护对象的重要性,选择适当的防洪标准。  关键词:防洪;标准;规划  Opinions its planned
期刊
摘 要:论文通过对新型节能环保材料的发展趋势及其在建筑工程中应用的分析,总结归纳了新型保温材料、节能门窗、水泥和粉煤灰的利用以及建筑垃圾的资源化等和建筑节能息息相关的四个方面目前的使用现状,并对其以后的发展提出了建议。指出新型节能环保型建筑材料是建筑材料的未来发展方向。  关键词:节能环保;复合保温隔热;镀膜低辐射玻璃;生态水泥;建筑垃圾资源化  The construction of energ
期刊
摘 要:在伴制混凝土过程中掺入不超过水泥重量的5%(掺特殊情况除外),而能使混凝土按需要改变性质的物质,称为混凝土外加剂。现有的研究结果显示,合理使用混泥土外加剂不仅有助于提高混凝土工程的质量,并有助于提高混凝土工程的经济效益。例入:在寒冷地区的混凝土中添加引起剂,抗冻剂能够大大延长混泥土工程的使用寿命,降低维护成本。应用高效减水剂减小水泥用量;水泥用量的减小不仅能够弥补外加剂使用所增加的成本,而
期刊
摘 要:河道采砂是采集河床表面的床砂,床砂是河道挟带泥沙的水流与河床相互作用的产物。河床砂石是河道稳定、水砂平衡的物质基础。天然河流中都含有一定的泥砂。河流中的泥沙就其来源而言可分为两类:一类是从流域地表冲蚀而来的,另一类是从原河床冲起来的。大规模的基本建设项目需要大量的砂石材料,而河道中滥采乱挖河砂,对河岸稳定、防洪安全、生态环境等方面又带来很大负面的影响。因此,河道采砂的管理工作,已成为河道管
期刊