论文部分内容阅读
摘要：根据高速公路交通场景的特点，通过分析图像序列中的纹理变化、提出以二值化图像的投影梯度统计值作为判定条件来识别背景图像。首先对图像按车道分块，通过子图像的投影统计和投影梯度统计值识别背景，然后根据各子图像的统计结果重建背景模型。实验结果表明，基于投影和梯度统计的方法，能准确的完成背景识别和建模，对低亮度车辆和光线都有很好的抗干扰性，处理时间少。该方法背景识别和建模的速度和准确度能满足高速公路交通场景视频监控系统的要求。
关键字：投影统计；背景识别；背景建模；高速路监控系统
1 引言
高速公路是经济发展的必然产物，它反映着一个国家和地区的交通发达程度、乃至经济发展的整体水平，同时它也缩短了人们之间的时空距离。但由于高速公路具有车流量大、车速快、受雨雪冰雾等恶劣天气的影响大等特点，使其容易发生重大交通事故。因此对高速公路的智能交通监控管理显得尤为重要。背景识别与背景建模的方法是其中至关重要的一步，一个准确又快速的识别与建模方法有非常重要的现实意义。
传统的背景建模都存在着各自的缺点：均值法提取背景就是取图像序列在一段时间内的平均值。该法模型简单，计算方便，在物体运动比较快，且相对于整帧面积比较小，平均法可以得到比较好的效果。但如果连续通过亮度过高或过低的车辆，或者运动物体面积比较大的时候，得到的背景图像会含有大量的噪声就会对背景产生很大的误差[1]。核密度估计背景建模方法[2-4]虽然在一定程度上克服了运算量大的缺点，但需要时间训练大量的样本，并且迭代计算速度慢，在实际应用中有一定的困难。混合高斯模型[5-8]假设视频帧中每一个像素点的亮度分布是一个高斯混合模型，所以根据像素的亮度直方图建立背景模型，但假设并不是一定成立，而且计算复杂度与高斯模型的个数成正比。
本文通过对高速公路特点的分析应用基于统计的方法对高速路的视频图像进行背景的识别与建模，通过公路实验测试，本文提出的基于统计的背景识别与建模算法不但简单易于实现而且在速度和准确性上都取得了很好的效果。
2基于统计的背景识别
2.1高速路场景的特点
通过观察一组公路的视频图像可以发现，背景图像路面平坦、颜色单一、纹理信息不明显，而当前景图像中有运动车辆时，由于车辆的车头区域内有丰富的边缘存在，如车灯、散热片、车牌等，图像的颜色、纹理信息变化强烈，如图1所示。根据高速路视频图像的这个特点，本文通过对图像纹理信息的统计分析，首先对图像做粗背景识别，然后对识别出来的背景图像经行背景建模。
固定的高清摄像机拍摄的视频序列图像数据信息量大，所占空间比较大，因此首先对采集的高清图像分车道（为了计算简单，我们假设每个车道子图像都是矩形）。拍摄的图片上含有三个车道，根据车道的位置，分成三个分别含有各车道的矩形子图片，图片之间可以留有相互交叠的余量部分。如N为图像的车道数，将图片分为N个子图，如式（1）所示。式（1）中 为采样图像， 、 、 分别为三个车道的子图像，其中 、 为第一车道在图像中横坐标左右两个边界 ， 、 为第二车道在图像中横坐标左右两个边界 ， 、 为第三车道在图像中横坐标左右两个边界 ，且满足 < < < < < 。
（1）
然后再对子图像分别做灰度化处理，减少计算的数据量，提高处理速度。最后对灰度图像进行sobel 水平和垂直的边缘检测，再从水平和垂直两个方向上统计分别统计其每行和每列的像素点。根据统计结果通过一定的分析判断完成背景粗识别。对粗识别的背景再经行背景建模，若为含有车辆的图片则背景图片不更新，等待运动目标提取等后续处理。流程图如图2所示。
2.3边缘检测
Marr[9]的视觉理论认为人类对物体的感知在很大程度上依赖于边缘，其原因在于边缘是图像中一个区域和另一个区域的交接处，是属性发生突变的地方，是图像中不确定性最大的地方，也是图像信息最集中的地方；同时光线的变化显著地影响着区域的外观，但是不会改变区域的边缘。由此可见，通过对图像边缘的检测能很好的反应背景图像和含有运动目标的图像中物体的形状等纹理信息的对比，并且大大的减少处理的信息。
本文选用sobel算子经行边缘检测，因为索贝尔（Sobel）算子对噪声具有平滑作用，提供较为精确的边缘方向信息，虽然边缘定位精度不够高，但通常对灰度渐变和噪声较多的图像处理得较好。
sobel 水平边缘检测能很好地检测图像中的水平边缘提取水平的纹理信息并能滤除掉垂直纹理地干扰；sobel 垂直边缘检测能很好地提取图像中的车辆的纵向纹理信息并能去除横向纹理的干扰。因此对N个车道子图像分别做sobel 水平和垂直的边缘检测，获取二值边缘图像（边缘上的的灰度值是1，非边缘上的像素的灰度值是0），如图3所示。其次分别做形态学膨胀和滤波，填补边缘的空洞，保持其连续性并滤除噪声的干扰。
2.4投影统计
在sobel 水平和垂直边缘检测二值图中可以看出，如果有车辆经过，由于车辆的纹理特征丰富，图中的边缘则较密集，通过投影统计其中边缘的像素点的情况就能较好的反应图中的纹理特征。对sobel 水平边缘检测二值图做纵向垂直投影统计，得到图像的垂直投影统计曲线；对sobel 垂直边缘检测二值图做横向水平投影统计，得到图像的水平投影统计曲线。投影统计的算法如式（2）所示。
（2）
式（2）中，X、Y为子图像的宽和高， 为图像的每列的垂直统计函数值， 为图像每行的水平统计函数值， 为子图像中的像素值。 、 函数的统计曲线如图4所示。从图4 车辆图和背景图的投影统计曲线的对比中中可以看出，车辆区域的投影图具有连续的规律的峰-谷-峰的特性，并且可能的车辆区域的幅值要远高于其他区域，而背景区域的这个特性则不明显。
2.5投影梯度统计 在投影统计曲线中，统计值的较大变化是由运动目标经过引起的，我们通过求曲线的梯度不但可以更清晰的反应统计曲线的变化情况，还能判断运动目标出现的位置。梯度对应一阶导数，对一个连续图像函数F（x，y），它在位置（x，y）的梯度可以表示为一个矢量[10]（其中Gx 和 Gy 分别为沿X方向和Y方向的梯度）：
，这个矢量的幅值（常简称为梯度）为
因此投影统计曲线 、 的梯度统计曲线分别为H_v （i）、H_h（i），如式（3）所示。
（3）
梯度投影曲线H_v （i）、H_h（i）如图5 所示。从梯度统计图中可以发现，当有运动车辆经过时，车辆区域的梯度投影变化剧烈且幅值较大，而背景区域则变化平缓、波动较小。
2.6主要算法
在实际的高速公路上如果有运动车辆经过，那么图像的纹理特征则会有较大的变化，图像的梯度统计图则会有较大的波动，而且因为车辆是具有一定的长度和宽带的，为排除噪声的干扰，所以统计曲线中的这种波动变化必须是有一定的持续长度的，判断当大于一定幅值而且具有一定长度的波动可认为有车辆经过，其他情况则认为是背景图像。背景粗判定的具体步骤如下：
（1）将输入图像I灰度化为IG，并分车道，设Ig为其中一个车道的子图像；
（2）求子图像的Ig的Sobel 水平和垂直的二值边缘图像，并做形态学膨胀和滤波；
（3）对子图像Ig的Sobel 水平和垂直的二值边缘图像分别做纵向和横向的投影统计；
（4）分别求垂直和水平投影统计曲线的投影梯度曲线；
（5）统计垂直投影梯度曲线中大于幅值阈值T1的个数n1，以及水平投影梯度曲线中大于幅值阈值 的个数n2；
（6） 判断当n1大于个数阈值T2 并且 n2 大于个数阈值 是则认为是前景车辆图像Ig，其他情况则认为是背景图像 ；
（7）若图像Ig 为背景图像则经行背景的迭代更新，若为含车辆图像则等待后续目标提取等处理。
2.7背景更新
光照、雨雪等不确定因素的变化会引起背景变化，若不及时更新背景，很可能出现过检测、误警、获知降低对前景目标的灵敏度。本文的背景更新是对粗判断出来的认为是背景的图片经行更新，对于有运动车辆经过的子图像保持不变，如式（4）所示。
（4）
式（4） 为背景图像在点 处的值，更新速度系数 的值为0.1，阈值T2、 需要根据现场道路实际情况设定。
3试验结果及讨论
本文采用高清摄像机AV3105 架设在高速公路的天桥上进行图像采集，采集的图像像素大小为2048 1536，使用matlab7.0 在Intel 2.66GHz CPU、3G内存的计算机上实验，
第一帧图像 平均值模型 混合高斯模型 本文方法
图6 前10帧处理结果
Fig.6 Processed results of the first 10 frames
3种方法在10帧的图像序列下生成背景所耗费的时间为：平均值法3s、本文方法25s、混合高斯法410s。从图6 中，可以看出，虽然平均值法耗时时间最短，但是平均值模型建立的背景上会有车辆的运动轨迹留下的模糊痕迹；混合高斯模型建立的背景由于复杂的计算，其耗时时间是最长的，这在很大程度上限制了该算法的实时应用，并且还由于参与处理的图像较少，初始帧在背景中占的比重较大，在生成的背景中留下的痕迹也比较明显；本文基于统计的背景建模方法最接近真实背景，耗时时间较少，在后续的目标提取中，能更准确的提取运动目标。
图7为前100帧图像的处理结果。从结果看出，经过100帧处理后平均值法、混合高斯法、本文基于统计的背景建模法都能得到一幅较为清晰准确的背景，但在此过程中，本文的背景建模方法已经对背景更新了28次，能实时的反应背景的变化情况（而且光线的变化对本文的背景的生成无影响）。
4 结论
本文根据高速公路交通场景的特点，能根据每个车道的子图像利用其二值图像的投影统计和梯度统计方法识别背景图像，并根据识别结果对背景经行实时的迭代更新。实验结果可以表明，对背景识别和背景建模的过程中，基于投影统计的背景建模方法处理时间较快，而且无论是处理的图像序列数量少还是多，都能够较为真实准确的建立背景。综合以上分析，基于投影统计的背景识别和背景建模方法不仅算法简单、容易实现而且速度较快适宜于高速公路监控场所，其次该方法对于图像中出现与路面颜色较接近的低亮度车辆有很好的抗干扰性，并能适应环境光线，通过调整各个阈值参数可使该模型应用于不用交通场景。
参考文献：
[1] CUCCHIARA R，PICCARDI M，PRATI A.Detecting moving objects，ghosts，and shadows in video streams[J].IEEE Transactions on Pattern Analysis and M achine Intelligence，2003，25（10）：1337—1342.
[2] 孙剑芬，陈莹，纪志成.基于关键帧的核密度估计背景建模方法[J].光学技术，2008，34（5）：699-701.
[3] 黄振猛，戴明.基于高斯核密度模型的运动目标检测[J].微计算机信息，2007，23（2）：45-48.
[4] 孙剑芬.基于高斯核密度估计的运动目标检测新方法[J].计算机技术与发展，2010，20（8）：45-48.
[5] Kita，Y.Background modeling by combining joint intensity histogram with time-sequential data[C].Pattern Recognition （ICPR）， 2010 20th International Conference on，2010，8（23-26）：991-994. [6] Jiangming Kan，Keyi Li，Jun Tang，Xiaofeng Du. Background Modeling Method Based on Improved Multi-Gaussian Distribution[C]. Computer Application and System Modeling （ICCASM）， 2010 International Conference on，2010，10（22-24）： 214-218.
[7] Charoenpong T，Supasuteekul A，Nuthong C. Adaptive Background Modeling from an Image Sequence by Using K-Means Clustering[c]. Electrical Engineering/Electronics Computer Telecommunications and Information Technology （ECTI-CON）， 2010 International Conference on，2010，5（19-21）：880-883.
[8] Bineng Zhong，Hongxun Yao，Shaohui Liu.Robust background modeling via standard variance feature[C]. Acoustics Speech and Signal Processing （ICASSP）， 2010 IEEE International Conference on，2010，3（14-19）：1182-1185.
[9] Marr D.， Hildreth E.， Theory of edge detection， In： Proceedings of the Royal Society of London，1980，B（27）：187-217.
[10] 侯发忠，周支元.基于形态学梯度差的车牌定位算法[J].科学技术与工程，2008，8（12）：3355-3358.
作者：
柳军，男，1974年8月生人，天津南开大学物流管理专业硕士学位，经济师，IBM认证数据库程序员，天津市正直智能交通设施制作安装有限公司。
关键字：投影统计；背景识别；背景建模；高速路监控系统
1 引言
高速公路是经济发展的必然产物，它反映着一个国家和地区的交通发达程度、乃至经济发展的整体水平，同时它也缩短了人们之间的时空距离。但由于高速公路具有车流量大、车速快、受雨雪冰雾等恶劣天气的影响大等特点，使其容易发生重大交通事故。因此对高速公路的智能交通监控管理显得尤为重要。背景识别与背景建模的方法是其中至关重要的一步，一个准确又快速的识别与建模方法有非常重要的现实意义。
传统的背景建模都存在着各自的缺点：均值法提取背景就是取图像序列在一段时间内的平均值。该法模型简单，计算方便，在物体运动比较快，且相对于整帧面积比较小，平均法可以得到比较好的效果。但如果连续通过亮度过高或过低的车辆，或者运动物体面积比较大的时候，得到的背景图像会含有大量的噪声就会对背景产生很大的误差[1]。核密度估计背景建模方法[2-4]虽然在一定程度上克服了运算量大的缺点，但需要时间训练大量的样本，并且迭代计算速度慢，在实际应用中有一定的困难。混合高斯模型[5-8]假设视频帧中每一个像素点的亮度分布是一个高斯混合模型，所以根据像素的亮度直方图建立背景模型，但假设并不是一定成立，而且计算复杂度与高斯模型的个数成正比。
本文通过对高速公路特点的分析应用基于统计的方法对高速路的视频图像进行背景的识别与建模，通过公路实验测试，本文提出的基于统计的背景识别与建模算法不但简单易于实现而且在速度和准确性上都取得了很好的效果。
2基于统计的背景识别
2.1高速路场景的特点
通过观察一组公路的视频图像可以发现，背景图像路面平坦、颜色单一、纹理信息不明显，而当前景图像中有运动车辆时，由于车辆的车头区域内有丰富的边缘存在，如车灯、散热片、车牌等，图像的颜色、纹理信息变化强烈，如图1所示。根据高速路视频图像的这个特点，本文通过对图像纹理信息的统计分析，首先对图像做粗背景识别，然后对识别出来的背景图像经行背景建模。
固定的高清摄像机拍摄的视频序列图像数据信息量大，所占空间比较大，因此首先对采集的高清图像分车道（为了计算简单，我们假设每个车道子图像都是矩形）。拍摄的图片上含有三个车道，根据车道的位置，分成三个分别含有各车道的矩形子图片，图片之间可以留有相互交叠的余量部分。如N为图像的车道数，将图片分为N个子图，如式（1）所示。式（1）中 为采样图像， 、 、 分别为三个车道的子图像，其中 、 为第一车道在图像中横坐标左右两个边界 ， 、 为第二车道在图像中横坐标左右两个边界 ， 、 为第三车道在图像中横坐标左右两个边界 ，且满足 < < < < < 。
（1）
然后再对子图像分别做灰度化处理，减少计算的数据量，提高处理速度。最后对灰度图像进行sobel 水平和垂直的边缘检测，再从水平和垂直两个方向上统计分别统计其每行和每列的像素点。根据统计结果通过一定的分析判断完成背景粗识别。对粗识别的背景再经行背景建模，若为含有车辆的图片则背景图片不更新，等待运动目标提取等后续处理。流程图如图2所示。
2.3边缘检测
Marr[9]的视觉理论认为人类对物体的感知在很大程度上依赖于边缘，其原因在于边缘是图像中一个区域和另一个区域的交接处，是属性发生突变的地方，是图像中不确定性最大的地方，也是图像信息最集中的地方；同时光线的变化显著地影响着区域的外观，但是不会改变区域的边缘。由此可见，通过对图像边缘的检测能很好的反应背景图像和含有运动目标的图像中物体的形状等纹理信息的对比，并且大大的减少处理的信息。
本文选用sobel算子经行边缘检测，因为索贝尔（Sobel）算子对噪声具有平滑作用，提供较为精确的边缘方向信息，虽然边缘定位精度不够高，但通常对灰度渐变和噪声较多的图像处理得较好。
sobel 水平边缘检测能很好地检测图像中的水平边缘提取水平的纹理信息并能滤除掉垂直纹理地干扰；sobel 垂直边缘检测能很好地提取图像中的车辆的纵向纹理信息并能去除横向纹理的干扰。因此对N个车道子图像分别做sobel 水平和垂直的边缘检测，获取二值边缘图像（边缘上的的灰度值是1，非边缘上的像素的灰度值是0），如图3所示。其次分别做形态学膨胀和滤波，填补边缘的空洞，保持其连续性并滤除噪声的干扰。
2.4投影统计
在sobel 水平和垂直边缘检测二值图中可以看出，如果有车辆经过，由于车辆的纹理特征丰富，图中的边缘则较密集，通过投影统计其中边缘的像素点的情况就能较好的反应图中的纹理特征。对sobel 水平边缘检测二值图做纵向垂直投影统计，得到图像的垂直投影统计曲线；对sobel 垂直边缘检测二值图做横向水平投影统计，得到图像的水平投影统计曲线。投影统计的算法如式（2）所示。
（2）
式（2）中，X、Y为子图像的宽和高， 为图像的每列的垂直统计函数值， 为图像每行的水平统计函数值， 为子图像中的像素值。 、 函数的统计曲线如图4所示。从图4 车辆图和背景图的投影统计曲线的对比中中可以看出，车辆区域的投影图具有连续的规律的峰-谷-峰的特性，并且可能的车辆区域的幅值要远高于其他区域，而背景区域的这个特性则不明显。
2.5投影梯度统计 在投影统计曲线中，统计值的较大变化是由运动目标经过引起的，我们通过求曲线的梯度不但可以更清晰的反应统计曲线的变化情况，还能判断运动目标出现的位置。梯度对应一阶导数，对一个连续图像函数F（x，y），它在位置（x，y）的梯度可以表示为一个矢量[10]（其中Gx 和 Gy 分别为沿X方向和Y方向的梯度）：
，这个矢量的幅值（常简称为梯度）为
因此投影统计曲线 、 的梯度统计曲线分别为H_v （i）、H_h（i），如式（3）所示。
（3）
梯度投影曲线H_v （i）、H_h（i）如图5 所示。从梯度统计图中可以发现，当有运动车辆经过时，车辆区域的梯度投影变化剧烈且幅值较大，而背景区域则变化平缓、波动较小。
2.6主要算法
在实际的高速公路上如果有运动车辆经过，那么图像的纹理特征则会有较大的变化，图像的梯度统计图则会有较大的波动，而且因为车辆是具有一定的长度和宽带的，为排除噪声的干扰，所以统计曲线中的这种波动变化必须是有一定的持续长度的，判断当大于一定幅值而且具有一定长度的波动可认为有车辆经过，其他情况则认为是背景图像。背景粗判定的具体步骤如下：
（1）将输入图像I灰度化为IG，并分车道，设Ig为其中一个车道的子图像；
（2）求子图像的Ig的Sobel 水平和垂直的二值边缘图像，并做形态学膨胀和滤波；
（3）对子图像Ig的Sobel 水平和垂直的二值边缘图像分别做纵向和横向的投影统计；
（4）分别求垂直和水平投影统计曲线的投影梯度曲线；
（5）统计垂直投影梯度曲线中大于幅值阈值T1的个数n1，以及水平投影梯度曲线中大于幅值阈值 的个数n2；
（6） 判断当n1大于个数阈值T2 并且 n2 大于个数阈值 是则认为是前景车辆图像Ig，其他情况则认为是背景图像 ；
（7）若图像Ig 为背景图像则经行背景的迭代更新，若为含车辆图像则等待后续目标提取等处理。
2.7背景更新
光照、雨雪等不确定因素的变化会引起背景变化，若不及时更新背景，很可能出现过检测、误警、获知降低对前景目标的灵敏度。本文的背景更新是对粗判断出来的认为是背景的图片经行更新，对于有运动车辆经过的子图像保持不变，如式（4）所示。
（4）
式（4） 为背景图像在点 处的值，更新速度系数 的值为0.1，阈值T2、 需要根据现场道路实际情况设定。
3试验结果及讨论
本文采用高清摄像机AV3105 架设在高速公路的天桥上进行图像采集，采集的图像像素大小为2048 1536，使用matlab7.0 在Intel 2.66GHz CPU、3G内存的计算机上实验，
第一帧图像 平均值模型 混合高斯模型 本文方法
图6 前10帧处理结果
Fig.6 Processed results of the first 10 frames
3种方法在10帧的图像序列下生成背景所耗费的时间为：平均值法3s、本文方法25s、混合高斯法410s。从图6 中，可以看出，虽然平均值法耗时时间最短，但是平均值模型建立的背景上会有车辆的运动轨迹留下的模糊痕迹；混合高斯模型建立的背景由于复杂的计算，其耗时时间是最长的，这在很大程度上限制了该算法的实时应用，并且还由于参与处理的图像较少，初始帧在背景中占的比重较大，在生成的背景中留下的痕迹也比较明显；本文基于统计的背景建模方法最接近真实背景，耗时时间较少，在后续的目标提取中，能更准确的提取运动目标。
图7为前100帧图像的处理结果。从结果看出，经过100帧处理后平均值法、混合高斯法、本文基于统计的背景建模法都能得到一幅较为清晰准确的背景，但在此过程中，本文的背景建模方法已经对背景更新了28次，能实时的反应背景的变化情况（而且光线的变化对本文的背景的生成无影响）。
4 结论
本文根据高速公路交通场景的特点，能根据每个车道的子图像利用其二值图像的投影统计和梯度统计方法识别背景图像，并根据识别结果对背景经行实时的迭代更新。实验结果可以表明，对背景识别和背景建模的过程中，基于投影统计的背景建模方法处理时间较快，而且无论是处理的图像序列数量少还是多，都能够较为真实准确的建立背景。综合以上分析，基于投影统计的背景识别和背景建模方法不仅算法简单、容易实现而且速度较快适宜于高速公路监控场所，其次该方法对于图像中出现与路面颜色较接近的低亮度车辆有很好的抗干扰性，并能适应环境光线，通过调整各个阈值参数可使该模型应用于不用交通场景。
参考文献：
[1] CUCCHIARA R，PICCARDI M，PRATI A.Detecting moving objects，ghosts，and shadows in video streams[J].IEEE Transactions on Pattern Analysis and M achine Intelligence，2003，25（10）：1337—1342.
[2] 孙剑芬，陈莹，纪志成.基于关键帧的核密度估计背景建模方法[J].光学技术，2008，34（5）：699-701.
[3] 黄振猛，戴明.基于高斯核密度模型的运动目标检测[J].微计算机信息，2007，23（2）：45-48.
[4] 孙剑芬.基于高斯核密度估计的运动目标检测新方法[J].计算机技术与发展，2010，20（8）：45-48.
[5] Kita，Y.Background modeling by combining joint intensity histogram with time-sequential data[C].Pattern Recognition （ICPR）， 2010 20th International Conference on，2010，8（23-26）：991-994. [6] Jiangming Kan，Keyi Li，Jun Tang，Xiaofeng Du. Background Modeling Method Based on Improved Multi-Gaussian Distribution[C]. Computer Application and System Modeling （ICCASM）， 2010 International Conference on，2010，10（22-24）： 214-218.
[7] Charoenpong T，Supasuteekul A，Nuthong C. Adaptive Background Modeling from an Image Sequence by Using K-Means Clustering[c]. Electrical Engineering/Electronics Computer Telecommunications and Information Technology （ECTI-CON）， 2010 International Conference on，2010，5（19-21）：880-883.
[8] Bineng Zhong，Hongxun Yao，Shaohui Liu.Robust background modeling via standard variance feature[C]. Acoustics Speech and Signal Processing （ICASSP）， 2010 IEEE International Conference on，2010，3（14-19）：1182-1185.
[9] Marr D.， Hildreth E.， Theory of edge detection， In： Proceedings of the Royal Society of London，1980，B（27）：187-217.
[10] 侯发忠，周支元.基于形态学梯度差的车牌定位算法[J].科学技术与工程，2008，8（12）：3355-3358.
作者：
柳军，男，1974年8月生人，天津南开大学物流管理专业硕士学位，经济师，IBM认证数据库程序员，天津市正直智能交通设施制作安装有限公司。