论文部分内容阅读
摘要：在视频检测中经常会有待处理图像数据过大，图像处理系统开销大，图像噪声大，目标重叠和粘连等问题，本文提出了一种结合图像标定和标定图像距离变换的运动目标分割方法。首先，对被检测摄像机进行标定，根据标定后的世界坐标系抽样图像数据，；其次，对抽样后的视频图像序列进行背景差和帧差的前景检测；然后，根据世界坐标系的尺度作距离变换。再然后，按目标对象的实际物理尺寸，剔除噪声，选取种子点；最后，我们采用分水岭算法实现目标分割。实验表明，改进后的方法降低了图像处理系统的开销，有效降低了噪声影响，提高了粘连目标的分割检测。
关键词：图像标定；标定图像距离变换；粘连目标分割
中图分类号：TP391.41 文献标识码：A 文章编号：1007-9599 (2011) 23-0000-03
Object Segmentation Method Based on Calibration Distance Transform Image
Zhu Min,Cao Feng
(Zhejiang Zheda Zhejiang Supcon Information Technology Co.,Ltd.,Hangzhou 310053,China)
Abstract:The following problems is existed in Video Detection System:too large image date,high computational cost,noise,object overlapped and adhesion.this paper proposed a new moving target segmentation method based on image calibration and distance transform.First,the image data is sampled according to WCS(the world coordinate system),which is calibrated by the Camera Calibration Toolbox on Matlab.Second,the foreground is detected with Background-Differencing and Frame-Difference.Third,The Distance Transform is obtained based on the scale of WCS.Fourth,base on actual physical coordinate to reduce noise and select seed points;Finally,Segmentation is finished by the Watershed algorithm.Experimental results show that this moving target segmentation method can lower computation cost and reduce noise,improve the segmentation of adhesion target.
Keywords:Image calibration;Distance Transform;Adhesion target
引言：在交通视频监控中，感兴趣的前景目标分割对于提取某些交通信息是非常重要的，例如车流量，车速，道路事件检测等。目前，已有很多分割技术被提出[1]-[9]。文献[1]通过对每个像素点建立灰度直方图来进行背景模型的初始化及更新，该前景分割方法基于当前像素与背景模型的灰度差分。文献[2][3][7][9]假设各像素间是相互独立的，利用混合高斯模型对多峰值背景建模。文献[4]基于像素间彼此独立的假设，用隐形马尔科夫对像素建模，通过其加权熵提取运动前景。文献[5]对背景建立ARMA模型，进而利用卡尔曼滤波器估计动态目标。文献[6]逐个统计像素其颜色的、空间和帧间信息，建立特征向量表，然后利用贝叶斯定理判定各像素点是背景或前景。上述方法都是基于像素的图像处理，没有考虑到从摄像机获取的被检测图像信息中包含的三位空间物体的世界坐标系位置、尺寸、形状等信息。
本文结合工程实际运用中图像检测目标的真实尺度特点，同时针对今后高清视频监控发展导致图像处理系统开销的增加，提出了采用标定图像采样来降低图像处理系统的开销，利用标定图像的距离变换有效剔除噪声，提高粘连目标的分割，从而提高了目标识别和跟踪的准确性。
一、标定图像的采样和标定图像的距离变换
（一）标定图像的采样
图像上每一点亮度反映了空间物体表面某点反射光的强度，而该点在图像上的几何位置则与空间物体表面相应点的几何位置有关。这些位置的相互关系，由摄像机成像的几何模型所决定。该几何模型的参数称为摄像机参数，这些参数必须由实验与计算来确定，实验与计算的过程称为摄像机标定[10，11]。至今已经有许多摄像机标定的方法。如Tsai提出的基于三维标定参照物的标定方法[12]，标定参照物一般由两块互相垂直的平面模板组成，标定前需要知道参照物表面标定点的空间三维坐标，因而这种方法需要一套昂贵的精密标定设备。张正友提出了基于二维平面模板的标定方法[13]，张氏标定法只要求从不同角度拍摄的同一标定平面（标定板）2幅以上的图像，就可以求出摄像机的内外参数，由于该方法不需要知道平面模板移动的具体方位和位移信息，而且平面模板的制作简单，因此这种方法更简单、灵活[14]。
在工程实践中我们简化标定方法，采用张氏标定法，人工选定图像中的参考点，人工输入参考点的世界坐标系坐标。在交通视频监控中，人和车的宽度和高度都大于0.2米，我们选择世界坐标系中0.2米的距离进行采样。采样结果如图（1），左图是待检测图像场景，右图是摄像机简化标定后，根据世界坐标系采样的采样点分布图。无论视频图像的分辨率是多少，经过世界坐标系中0.2米间隔的采样之后，我们处理的数据量急剧减少，在不降低远距离目标检测能力的同时，减少了图像处理系统的开销。
图1：左图为待检测场景原始图像，右图为经过世界坐标系采样后采样点分布图
（二）标定图像的距离变换
在二维空间R2中，S为某一集合，对R2中任一点r，定义其距离变换为：
（1）
d is（）为一般的欧几米德空间距离算子，本文采用距离算子如下：
（2）
其中，为两点。距离变换值T S（r）反映着点r与集合S的远近程度。
基于标定图像的距离变换是指对被检测图像中经过世界坐标系采样后确定的采样点像素进行背景建模，通过背景差和帧差检测到运动目标。根据前景目标中采样点离背景点的世界坐标系距离作距离变换的距离算子，获得标定图像的距离变换。
标定图像的距离变换定义为：
（3）
其中为采样点像素中的背景，为采样点图像中的前景点。
dis（）为前景点离背景点的世界坐标系距离算子，我们定义为：
（4）
其中，是标定后世界坐标系下的两点。
二、标定图像距离变换的降噪和粘连分割
（一）标定图像距离变换的降噪
在交通视频监控工程运用中，图像经过标定后，我们感兴趣的车、人等目标物体尺寸基本上都比较大。因此我们可以根据感兴趣目标的最小尺寸来区分检测到的目标和噪声，通过这种方法，可以对同一场景下远近不同位置的噪声作多分辨率去噪，剔除小于我们设定尺度门限的噪声。
降噪步骤：（1）标定摄像机，根据世界坐标系采样图像坐标系，建立背景模型。（2）根据背景差和帧差检测目标和噪声，根据世界坐标系对标定图像作距离变换。（3）根据世界坐标系中目标物体和噪声尺寸差异，剔除尺寸小于我们设定阈值的噪声。
（二）标定图像距离变换的目标分割
在交通视频监控工程运用中，图像经过标定后，我们感兴趣的车、人等目标物体尺寸基本上都比较大。因此我们通过了感兴趣目标的最小尺寸来区分检测目标和剔除小的噪声。同时我们利用标定图像距离变换结果，根据车辆实际宽度大于2米的原则，对距离图像根据0.5米的阈值作二值化，确定最初可能存在的目标车辆，被完全腐蚀的则可能是行人等其他目标。该方法对被检测图像中远近目标自动采用不同的阈值，对交通视频监控目标能获得比较好的分割结果。
目标分割步骤：（1）标定摄像机，根据世界坐标系采样图像坐标系，建立背景模型。（2）根据背景差和帧差检测目标和噪声，根据世界坐标系对标定图像作距离变换。（3）根据世界坐标系中目标物体和噪声尺寸差异，剔除尺寸小于我们设定阈值的噪声。（4）根据交通视频监控场景中，车的世界坐标系宽度，合理设置阈值，对粘连目标作分割，如图（2）左图。（5）将在作了二值化分割的目标作标签分类，对阈值以下的采样点根据它们与目标的距离远近作分割，完成粘连目标的分割，如图（2）右图。
图2：左图粘连目标通过合理阈值分割成a，b两个可能的目标；右图根据候选目标归类后确定的最终目标
三、实验结果
图3：待检测图像
图4：背景差检测到的目标
图5：标定图像距离变换图
图6：距离变换的噪声剔除和根据0.5米的阈值分割后的图像种子点
图7：像分割后的目标
图3是待检测的视频截图。图4是背景差分割检测到的目标物体。图5是标定图像距离变换的结果，从图5中可以看到，整张检测图像远景目标可以用统一的阈值。图6时对标定图像世界坐标系距离变换，然后采用0.5米的阈值作分割，得到目标种子点。图7是分割后的目标。可以看到经过世界坐标系距离变换后得到的分割有明显的优势。
四、结束语
本文提出了一种基于标定图像的距离变换的前景目标分割算法，它可适用于复杂背景环境下的视频监控中。主要改进的地方有（1）在分割算法中结合了基于标定图像的距离变换，有效降低了噪声干扰，提高了粘连目标的分割准确度，（2）在图像处理时选择标定图像重采样，减小系统资源占用量，大大提高了检测速度。实验表明，本文方法具有较高的检测率和检测速度，可以较好的抑制噪声和分割粘连目标。但是本系统还存在一些不足之处，对于严重遮挡的目标分割和距离相对较远处噪声剔除的处理上还有待进一步提高。进一步的工作可以尝试结合帧间连续性提高检测率和准确度。
参考文献：
[1]Chen B S,Lei Y Q and Li W W.A Novel Background Model for Real-Time Vehicle Detection[C].IEEE ICSP’04 Proceedings.Chinese institute of Electronics.Beijing,China.2004,1276-1279.
[2]Stauffer C.and Grimson W.Adaptive background mixture models for real-time tracking[C].In Proc.IEEE Conference on Computer Vision and Pattern Recognition,Fort Collins,Colorado,1999,246-252.
[3]Michael H.,Gaile G.and John W.Foreground Segmentation Using Adaptive Mixture Models in Color and Depth[C].IEEE Workshop on Detection and Recognition of Events in videos.[s.l.]VOL.13,2001,3-11.
[4]Manuele B,Marco C.and Vittorio M.Unsupervised scene analysis:A hidden Markov model approach[J].Computer Vision and Image Understanding,Elsevier Inc.VOL.23.No.5,2005,1-20.
[5]Zhong J and Sclaroff,S.Segmenting Foreground Objects from a Dynamic Textured Background via a Robust Kalman Filter[C].Proceedings of the Ninth IEEE International Conference on Computer Vision(ICCV’03)2003.[s.l.],VOL.1,44-50
[6]Li L.,Huang Y.W.,Irene M,Gu Y H.and Tian Q.Statistical Modeling of Complex Backgrounds for Foreground Object Detection[J].IEEE TRANSACTIONS ON IMAGE PROCESSING,[s.l.],VOL.13,NO.11,NOVEMBER,2004,14-29.
[7]Stauffer C.and Grimson W..Learning patterns of activity using realtime tracking[J].IEEE Trans.Pattern Anal.Machine Intell.,VOL.22,NO.8,[s.l.],Aug.2000,79-95.
[8]Makito S.,Toshikazu W.,Hideto F.and Kazuhiko S.Background Subtraction based on Cooccurrence of Image Variations[C].Proceedings of the 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR’03).[s.l.]VOL.2,1351-1358.
[9]Song M.and Wang H.Highly efficient incremental estimation of Gaussian mixture models for online data stream clustering[C].SPE Conference on Intelligent Computing：Theory And Applications III,Orlando,Florida,2005,1-17.
[10]邱茂林,马颂德,李毅.计算机视觉中摄像机定标综述[J].自动化学报,2000,26(1):43-55
[11]赵晓松.摄像机标定技术的研究[J].机械工程学报,2002,38(3):149-151.
[12]TSAI R Y.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J].IEEE Journal of Robotics and Automation,1987,3(4):323-344.
[13]ZHENGYOU ZHANG.A flexible new technique for camera CALIBRATION[R].Technical Report MSR-TR-98-71,Microsoft Research,December,1998.
[14]ZHENGYOU ZHANG.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.
关键词：图像标定；标定图像距离变换；粘连目标分割
中图分类号：TP391.41 文献标识码：A 文章编号：1007-9599 (2011) 23-0000-03
Object Segmentation Method Based on Calibration Distance Transform Image
Zhu Min,Cao Feng
(Zhejiang Zheda Zhejiang Supcon Information Technology Co.,Ltd.,Hangzhou 310053,China)
Abstract:The following problems is existed in Video Detection System:too large image date,high computational cost,noise,object overlapped and adhesion.this paper proposed a new moving target segmentation method based on image calibration and distance transform.First,the image data is sampled according to WCS(the world coordinate system),which is calibrated by the Camera Calibration Toolbox on Matlab.Second,the foreground is detected with Background-Differencing and Frame-Difference.Third,The Distance Transform is obtained based on the scale of WCS.Fourth,base on actual physical coordinate to reduce noise and select seed points;Finally,Segmentation is finished by the Watershed algorithm.Experimental results show that this moving target segmentation method can lower computation cost and reduce noise,improve the segmentation of adhesion target.
Keywords:Image calibration;Distance Transform;Adhesion target
引言：在交通视频监控中，感兴趣的前景目标分割对于提取某些交通信息是非常重要的，例如车流量，车速，道路事件检测等。目前，已有很多分割技术被提出[1]-[9]。文献[1]通过对每个像素点建立灰度直方图来进行背景模型的初始化及更新，该前景分割方法基于当前像素与背景模型的灰度差分。文献[2][3][7][9]假设各像素间是相互独立的，利用混合高斯模型对多峰值背景建模。文献[4]基于像素间彼此独立的假设，用隐形马尔科夫对像素建模，通过其加权熵提取运动前景。文献[5]对背景建立ARMA模型，进而利用卡尔曼滤波器估计动态目标。文献[6]逐个统计像素其颜色的、空间和帧间信息，建立特征向量表，然后利用贝叶斯定理判定各像素点是背景或前景。上述方法都是基于像素的图像处理，没有考虑到从摄像机获取的被检测图像信息中包含的三位空间物体的世界坐标系位置、尺寸、形状等信息。
本文结合工程实际运用中图像检测目标的真实尺度特点，同时针对今后高清视频监控发展导致图像处理系统开销的增加，提出了采用标定图像采样来降低图像处理系统的开销，利用标定图像的距离变换有效剔除噪声，提高粘连目标的分割，从而提高了目标识别和跟踪的准确性。
一、标定图像的采样和标定图像的距离变换
（一）标定图像的采样
图像上每一点亮度反映了空间物体表面某点反射光的强度，而该点在图像上的几何位置则与空间物体表面相应点的几何位置有关。这些位置的相互关系，由摄像机成像的几何模型所决定。该几何模型的参数称为摄像机参数，这些参数必须由实验与计算来确定，实验与计算的过程称为摄像机标定[10，11]。至今已经有许多摄像机标定的方法。如Tsai提出的基于三维标定参照物的标定方法[12]，标定参照物一般由两块互相垂直的平面模板组成，标定前需要知道参照物表面标定点的空间三维坐标，因而这种方法需要一套昂贵的精密标定设备。张正友提出了基于二维平面模板的标定方法[13]，张氏标定法只要求从不同角度拍摄的同一标定平面（标定板）2幅以上的图像，就可以求出摄像机的内外参数，由于该方法不需要知道平面模板移动的具体方位和位移信息，而且平面模板的制作简单，因此这种方法更简单、灵活[14]。
在工程实践中我们简化标定方法，采用张氏标定法，人工选定图像中的参考点，人工输入参考点的世界坐标系坐标。在交通视频监控中，人和车的宽度和高度都大于0.2米，我们选择世界坐标系中0.2米的距离进行采样。采样结果如图（1），左图是待检测图像场景，右图是摄像机简化标定后，根据世界坐标系采样的采样点分布图。无论视频图像的分辨率是多少，经过世界坐标系中0.2米间隔的采样之后，我们处理的数据量急剧减少，在不降低远距离目标检测能力的同时，减少了图像处理系统的开销。
图1：左图为待检测场景原始图像，右图为经过世界坐标系采样后采样点分布图
（二）标定图像的距离变换
在二维空间R2中，S为某一集合，对R2中任一点r，定义其距离变换为：
（1）
d is（）为一般的欧几米德空间距离算子，本文采用距离算子如下：
（2）
其中，为两点。距离变换值T S（r）反映着点r与集合S的远近程度。
基于标定图像的距离变换是指对被检测图像中经过世界坐标系采样后确定的采样点像素进行背景建模，通过背景差和帧差检测到运动目标。根据前景目标中采样点离背景点的世界坐标系距离作距离变换的距离算子，获得标定图像的距离变换。
标定图像的距离变换定义为：
（3）
其中为采样点像素中的背景，为采样点图像中的前景点。
dis（）为前景点离背景点的世界坐标系距离算子，我们定义为：
（4）
其中，是标定后世界坐标系下的两点。
二、标定图像距离变换的降噪和粘连分割
（一）标定图像距离变换的降噪
在交通视频监控工程运用中，图像经过标定后，我们感兴趣的车、人等目标物体尺寸基本上都比较大。因此我们可以根据感兴趣目标的最小尺寸来区分检测到的目标和噪声，通过这种方法，可以对同一场景下远近不同位置的噪声作多分辨率去噪，剔除小于我们设定尺度门限的噪声。
降噪步骤：（1）标定摄像机，根据世界坐标系采样图像坐标系，建立背景模型。（2）根据背景差和帧差检测目标和噪声，根据世界坐标系对标定图像作距离变换。（3）根据世界坐标系中目标物体和噪声尺寸差异，剔除尺寸小于我们设定阈值的噪声。
（二）标定图像距离变换的目标分割
在交通视频监控工程运用中，图像经过标定后，我们感兴趣的车、人等目标物体尺寸基本上都比较大。因此我们通过了感兴趣目标的最小尺寸来区分检测目标和剔除小的噪声。同时我们利用标定图像距离变换结果，根据车辆实际宽度大于2米的原则，对距离图像根据0.5米的阈值作二值化，确定最初可能存在的目标车辆，被完全腐蚀的则可能是行人等其他目标。该方法对被检测图像中远近目标自动采用不同的阈值，对交通视频监控目标能获得比较好的分割结果。
目标分割步骤：（1）标定摄像机，根据世界坐标系采样图像坐标系，建立背景模型。（2）根据背景差和帧差检测目标和噪声，根据世界坐标系对标定图像作距离变换。（3）根据世界坐标系中目标物体和噪声尺寸差异，剔除尺寸小于我们设定阈值的噪声。（4）根据交通视频监控场景中，车的世界坐标系宽度，合理设置阈值，对粘连目标作分割，如图（2）左图。（5）将在作了二值化分割的目标作标签分类，对阈值以下的采样点根据它们与目标的距离远近作分割，完成粘连目标的分割，如图（2）右图。
图2：左图粘连目标通过合理阈值分割成a，b两个可能的目标；右图根据候选目标归类后确定的最终目标
三、实验结果
图3：待检测图像
图4：背景差检测到的目标
图5：标定图像距离变换图
图6：距离变换的噪声剔除和根据0.5米的阈值分割后的图像种子点
图7：像分割后的目标
图3是待检测的视频截图。图4是背景差分割检测到的目标物体。图5是标定图像距离变换的结果，从图5中可以看到，整张检测图像远景目标可以用统一的阈值。图6时对标定图像世界坐标系距离变换，然后采用0.5米的阈值作分割，得到目标种子点。图7是分割后的目标。可以看到经过世界坐标系距离变换后得到的分割有明显的优势。
四、结束语
本文提出了一种基于标定图像的距离变换的前景目标分割算法，它可适用于复杂背景环境下的视频监控中。主要改进的地方有（1）在分割算法中结合了基于标定图像的距离变换，有效降低了噪声干扰，提高了粘连目标的分割准确度，（2）在图像处理时选择标定图像重采样，减小系统资源占用量，大大提高了检测速度。实验表明，本文方法具有较高的检测率和检测速度，可以较好的抑制噪声和分割粘连目标。但是本系统还存在一些不足之处，对于严重遮挡的目标分割和距离相对较远处噪声剔除的处理上还有待进一步提高。进一步的工作可以尝试结合帧间连续性提高检测率和准确度。
参考文献：
[1]Chen B S,Lei Y Q and Li W W.A Novel Background Model for Real-Time Vehicle Detection[C].IEEE ICSP’04 Proceedings.Chinese institute of Electronics.Beijing,China.2004,1276-1279.
[2]Stauffer C.and Grimson W.Adaptive background mixture models for real-time tracking[C].In Proc.IEEE Conference on Computer Vision and Pattern Recognition,Fort Collins,Colorado,1999,246-252.
[3]Michael H.,Gaile G.and John W.Foreground Segmentation Using Adaptive Mixture Models in Color and Depth[C].IEEE Workshop on Detection and Recognition of Events in videos.[s.l.]VOL.13,2001,3-11.
[4]Manuele B,Marco C.and Vittorio M.Unsupervised scene analysis:A hidden Markov model approach[J].Computer Vision and Image Understanding,Elsevier Inc.VOL.23.No.5,2005,1-20.
[5]Zhong J and Sclaroff,S.Segmenting Foreground Objects from a Dynamic Textured Background via a Robust Kalman Filter[C].Proceedings of the Ninth IEEE International Conference on Computer Vision(ICCV’03)2003.[s.l.],VOL.1,44-50
[6]Li L.,Huang Y.W.,Irene M,Gu Y H.and Tian Q.Statistical Modeling of Complex Backgrounds for Foreground Object Detection[J].IEEE TRANSACTIONS ON IMAGE PROCESSING,[s.l.],VOL.13,NO.11,NOVEMBER,2004,14-29.
[7]Stauffer C.and Grimson W..Learning patterns of activity using realtime tracking[J].IEEE Trans.Pattern Anal.Machine Intell.,VOL.22,NO.8,[s.l.],Aug.2000,79-95.
[8]Makito S.,Toshikazu W.,Hideto F.and Kazuhiko S.Background Subtraction based on Cooccurrence of Image Variations[C].Proceedings of the 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR’03).[s.l.]VOL.2,1351-1358.
[9]Song M.and Wang H.Highly efficient incremental estimation of Gaussian mixture models for online data stream clustering[C].SPE Conference on Intelligent Computing：Theory And Applications III,Orlando,Florida,2005,1-17.
[10]邱茂林,马颂德,李毅.计算机视觉中摄像机定标综述[J].自动化学报,2000,26(1):43-55
[11]赵晓松.摄像机标定技术的研究[J].机械工程学报,2002,38(3):149-151.
[12]TSAI R Y.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J].IEEE Journal of Robotics and Automation,1987,3(4):323-344.
[13]ZHENGYOU ZHANG.A flexible new technique for camera CALIBRATION[R].Technical Report MSR-TR-98-71,Microsoft Research,December,1998.
[14]ZHENGYOU ZHANG.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.