论文部分内容阅读
[摘 要]智能视频监控与传统意义上的视频监控系统区别在于其智能性。在很多情况下，视频数据只是作为“事后事实”，使得視频监控系统丧失了其应有的主动性和实时性优势。无人值守的自动视频监控系统，需要自动完成对复杂环境中人和车辆的实时观测以及对感兴趣目标行为的分析和描述，涉及的众多技术覆盖了计算机视觉、模式识别和人工智能中的许多核心问题。本文提出将卡尔曼滤波算法作为一种搜索策略运用在嵌入式视频监控系统中实现智能化的自动跟踪。
[关键词]嵌入式视频监控系统 搜索策略 自动跟踪 卡尔曼滤波
中图分类号：TG757 文献标识码：A 文章编号：1009-914X（2017）21-0370-01
1、引言
日常生活的某些特殊应用场合，有些视频监控设备能实现一种自动视频监测和跟踪算法，自动分析镜头前监视目标的移动情况，并控制云台自动跟踪，将移动目标保持在监控的场景内，而不需要监控人员的操控控制，增加监控产品的智能性。目前国际上已经出现了类似的技术，但是主要用于视频会议系统，价格十分昂贵。在普通监控领域里，如果解决了复杂场景下的视频分析预报，并且可以和传统的监控云台配合使用，将有望成为一种标准监控配置设备，并可以对现有设备进行改造，市场潜力十分巨大。
尽管现在视频监控系统在各个领域得到了广泛应用，但普遍智能化水平不高，实时性不好，未能充分利用如今人工智能高速发展所带来的技术成果，达不到数字化、网络化、尤其是自动化的技术要求。比如大部分监控系统无法区分运动和非运动，必须要有操作人员在监控设备的显示器前时刻监视视频信息，靠肉眼发现运动物体，再用鼠标在屏幕上点击目标跟踪，人长时间注视数小时都没有变化的视频内容，不可避免会产生疲劳导致注意力下降漏掉目标。为了提高视频监控系统的实时性以及智能化程度，本文将阐述一种嵌入式视频监控系统的设计方案，并在此系统基础上应用一种智能化的自动跟踪算法。
2、关于视频跟踪算法
视频目标跟踪是在候选目标中，如何快速有效地寻找到目标，本质上是一种搜索策略，一个优化过程。搜索方法可以分为确定性方法和统计性方法。确定性方法，如梯度下降、均值移动（Mean Shift）、曲线演化等；统计性方法，如卡尔曼滤波、扩展卡尔曼滤波等。卡尔曼滤波就是一种统计性方法。
卡尔曼滤波算法，适用于线性、离散和有限维系统。每一个有外部变量的自回归移动平均系统（ARMAX）或可用有理传递函数表示的系统都可以转换成用状态空间表示的系统，从而能用卡尔曼滤波进行计算。当观测数据和状态联合服从高斯分布时用卡尔曼递归公式计算得到的是高斯随机变量的条件均值和条件方差，从而卡尔曼滤波公式给出了计算状态的条件概率密度的更新过程线性最小方差估计，也就是最小方差估计。卡尔曼滤波已经有很多不同的实现，卡尔曼最初提出的形式一般称为简单卡尔曼滤波器。除此以外，还有施密特扩展滤波器、信息滤波器以及很多Bierman， Thornton 开发的平方根滤波器的变种。最常见的卡尔曼滤波器是锁相环，它在收音机、计算机和几乎任何视频或通讯设备中广泛存在。
这种理论是在时间域上来表述的，基本的概念是：在线性系统的状态空间表示基础上，从输出和输入观测数据求系统状态的最优估计。这里所说的系统状态，是总结系统所有过去的输入和扰动对系统的作用的最小参数的集合，知道了系统的状态就能够与未来的输入与系统的扰动一起确定系统的整个行为。卡尔曼滤波不要求信号和噪声都是平稳过程的假设条件。对于每个时刻的系统扰动和观测误差（即噪声），只要对它们的统计性质作某些适当的假定，通过对含有噪声的观测信号进行处理，就能在平均的意义上，求得误差为最小的真实信号的估计值。
3、嵌入式视频监控系统的总体设计
3.1 基本功能
所设计的嵌入式视频监控系统能判别监控场景中的移动目标；通过RS485/RS422输出参数，根据云台控制协议Pelco-D协议控制摄像头运动，进行运动目标的跟踪；目标跟踪完毕应能完成复位；兼容支持CANopen协议的普通云台和高速球驱动器。
3.2 系统组成（如图1）
3.3 工作过程
Video图像：视频采集，模拟视频信号经过A/D转换，通过FPGA视频采集模块先进行图像预处理，然后再将预处理好的图像信息输出给DSP（ADSP-BF609）图像跟踪显示模块进行图像数据解算以及在人机交互界面的显示，这个过程中计算所得的脱靶量立即传给伺服控制模块。运动指令：通过计算机人机交互软件（所谓显控软件）将各种外部信号（主要是操作者发出的）在Pelco-D协议框架下输出给伺服控制模块，然后再进行一些运动控制（控制信号通过CAN输出给驱动器并在CANopen协议框架下控制电机）。报警信号：发现目标时给出一个报警信号。录像指令：录像开始指令，录像结束指令。
3.4 核心硬件
由FPGA（EP4CE30）视频采集模块、DSP（ADSP-BF609）图像跟踪显示模块以及DSP（TMS320F28377D）伺服控制模块加一块接口底板（带PCI总线/ISA总线）构成该系统的视频跟踪显控板。
4、复杂背景下运动目标视频跟踪方法
4.1 目标跟踪的运动估计
状态估计是卡尔曼滤波的重要组成部分。一般来说，根据观测数据对随机量进行定量推断就是估计问题，特别是对动态行为的状态估计，它能实现实时运行状态的估计和预测功能。比如对飞行器状态估计。状态估计对于了解和控制一个系统具有重要意义，所应用的方法属于统计学中的估计理论。最常用的是最小二乘估计，线性最小方差估计、最小方差估计、递推最小二乘估计等。其他如风险准则的贝叶斯估计、最大似然估计、随机逼近等方法也都有应用。
本设计中的跟踪算法利用卡尔曼滤波进行跟踪物体的预测，缩小匹配范围，提高速度，并通过运动物体匹配得到的实际质心替换利用卡尔曼滤波得到的最优预测质心，以达到利用运动物体的实际轨迹不断修正预测跟踪軌迹，保证运动估计的准确度。
4.2 卡尔曼滤波算法流程
一个场景中，在摄像头固定情况下，取连续的三帧图像，进行运动检测，如果检测到目标，进行报警录像，并进入跟踪阶段；每跟到一个位置，都要进行运动检测，如果没有运动，摄像头保持位置不变，如果有运动，且符合跟踪条件，继续跟踪；如果超出跟踪范围，云台复位，但继续进行运动检测，重复上面的步骤。
4.3 数据仿真
卡尔曼滤波的最大优势是可以用于非平稳随机过程（信号），该方法不需要全部过去的观测信号，它只是根据前一次的估计值和当前的观测值来估计信号的波形，它是用状态方程和递推方法进行估计的，其解是以估计值的形式给出的。卡尔曼滤波也分为连续形式和离散形式两种。由于目前几乎全部采用数字信号处理，所以，本节的数据仿真是以离散卡尔曼滤波形式给出的。
5、总结
本文着重从自动跟踪算法入手，以提高视频监控系统的智能性，后续的工作主要利用FPGA和高速的数字信号处理器实现算法（核心技术），以满足实时性与智能化的要求。实验证明，本文所提出用到的搜索策略即卡尔曼滤波算法具有一定稳定性和鲁棒性。
参考文献
[1] 慕春棣.嵌入式系统的构建[M].北京：清华大学出版社.2004.1
[2] 梁青鸟，黄心汉等.复杂条件下运动物体的视频检测[J].计算机工程与应用.2003.4
[3] 阮秋琦.数字图像处理[M].北京：电子工业出版社.2001.1
作者简介
周易（1986.12.— ），男，硕士，工程师，主要从事光电跟踪系统研究。
[关键词]嵌入式视频监控系统 搜索策略 自动跟踪 卡尔曼滤波
中图分类号：TG757 文献标识码：A 文章编号：1009-914X（2017）21-0370-01
1、引言
日常生活的某些特殊应用场合，有些视频监控设备能实现一种自动视频监测和跟踪算法，自动分析镜头前监视目标的移动情况，并控制云台自动跟踪，将移动目标保持在监控的场景内，而不需要监控人员的操控控制，增加监控产品的智能性。目前国际上已经出现了类似的技术，但是主要用于视频会议系统，价格十分昂贵。在普通监控领域里，如果解决了复杂场景下的视频分析预报，并且可以和传统的监控云台配合使用，将有望成为一种标准监控配置设备，并可以对现有设备进行改造，市场潜力十分巨大。
尽管现在视频监控系统在各个领域得到了广泛应用，但普遍智能化水平不高，实时性不好，未能充分利用如今人工智能高速发展所带来的技术成果，达不到数字化、网络化、尤其是自动化的技术要求。比如大部分监控系统无法区分运动和非运动，必须要有操作人员在监控设备的显示器前时刻监视视频信息，靠肉眼发现运动物体，再用鼠标在屏幕上点击目标跟踪，人长时间注视数小时都没有变化的视频内容，不可避免会产生疲劳导致注意力下降漏掉目标。为了提高视频监控系统的实时性以及智能化程度，本文将阐述一种嵌入式视频监控系统的设计方案，并在此系统基础上应用一种智能化的自动跟踪算法。
2、关于视频跟踪算法
视频目标跟踪是在候选目标中，如何快速有效地寻找到目标，本质上是一种搜索策略，一个优化过程。搜索方法可以分为确定性方法和统计性方法。确定性方法，如梯度下降、均值移动（Mean Shift）、曲线演化等；统计性方法，如卡尔曼滤波、扩展卡尔曼滤波等。卡尔曼滤波就是一种统计性方法。
卡尔曼滤波算法，适用于线性、离散和有限维系统。每一个有外部变量的自回归移动平均系统（ARMAX）或可用有理传递函数表示的系统都可以转换成用状态空间表示的系统，从而能用卡尔曼滤波进行计算。当观测数据和状态联合服从高斯分布时用卡尔曼递归公式计算得到的是高斯随机变量的条件均值和条件方差，从而卡尔曼滤波公式给出了计算状态的条件概率密度的更新过程线性最小方差估计，也就是最小方差估计。卡尔曼滤波已经有很多不同的实现，卡尔曼最初提出的形式一般称为简单卡尔曼滤波器。除此以外，还有施密特扩展滤波器、信息滤波器以及很多Bierman， Thornton 开发的平方根滤波器的变种。最常见的卡尔曼滤波器是锁相环，它在收音机、计算机和几乎任何视频或通讯设备中广泛存在。
这种理论是在时间域上来表述的，基本的概念是：在线性系统的状态空间表示基础上，从输出和输入观测数据求系统状态的最优估计。这里所说的系统状态，是总结系统所有过去的输入和扰动对系统的作用的最小参数的集合，知道了系统的状态就能够与未来的输入与系统的扰动一起确定系统的整个行为。卡尔曼滤波不要求信号和噪声都是平稳过程的假设条件。对于每个时刻的系统扰动和观测误差（即噪声），只要对它们的统计性质作某些适当的假定，通过对含有噪声的观测信号进行处理，就能在平均的意义上，求得误差为最小的真实信号的估计值。
3、嵌入式视频监控系统的总体设计
3.1 基本功能
所设计的嵌入式视频监控系统能判别监控场景中的移动目标；通过RS485/RS422输出参数，根据云台控制协议Pelco-D协议控制摄像头运动，进行运动目标的跟踪；目标跟踪完毕应能完成复位；兼容支持CANopen协议的普通云台和高速球驱动器。
3.2 系统组成（如图1）
3.3 工作过程
Video图像：视频采集，模拟视频信号经过A/D转换，通过FPGA视频采集模块先进行图像预处理，然后再将预处理好的图像信息输出给DSP（ADSP-BF609）图像跟踪显示模块进行图像数据解算以及在人机交互界面的显示，这个过程中计算所得的脱靶量立即传给伺服控制模块。运动指令：通过计算机人机交互软件（所谓显控软件）将各种外部信号（主要是操作者发出的）在Pelco-D协议框架下输出给伺服控制模块，然后再进行一些运动控制（控制信号通过CAN输出给驱动器并在CANopen协议框架下控制电机）。报警信号：发现目标时给出一个报警信号。录像指令：录像开始指令，录像结束指令。
3.4 核心硬件
由FPGA（EP4CE30）视频采集模块、DSP（ADSP-BF609）图像跟踪显示模块以及DSP（TMS320F28377D）伺服控制模块加一块接口底板（带PCI总线/ISA总线）构成该系统的视频跟踪显控板。
4、复杂背景下运动目标视频跟踪方法
4.1 目标跟踪的运动估计
状态估计是卡尔曼滤波的重要组成部分。一般来说，根据观测数据对随机量进行定量推断就是估计问题，特别是对动态行为的状态估计，它能实现实时运行状态的估计和预测功能。比如对飞行器状态估计。状态估计对于了解和控制一个系统具有重要意义，所应用的方法属于统计学中的估计理论。最常用的是最小二乘估计，线性最小方差估计、最小方差估计、递推最小二乘估计等。其他如风险准则的贝叶斯估计、最大似然估计、随机逼近等方法也都有应用。
本设计中的跟踪算法利用卡尔曼滤波进行跟踪物体的预测，缩小匹配范围，提高速度，并通过运动物体匹配得到的实际质心替换利用卡尔曼滤波得到的最优预测质心，以达到利用运动物体的实际轨迹不断修正预测跟踪軌迹，保证运动估计的准确度。
4.2 卡尔曼滤波算法流程
一个场景中，在摄像头固定情况下，取连续的三帧图像，进行运动检测，如果检测到目标，进行报警录像，并进入跟踪阶段；每跟到一个位置，都要进行运动检测，如果没有运动，摄像头保持位置不变，如果有运动，且符合跟踪条件，继续跟踪；如果超出跟踪范围，云台复位，但继续进行运动检测，重复上面的步骤。
4.3 数据仿真
卡尔曼滤波的最大优势是可以用于非平稳随机过程（信号），该方法不需要全部过去的观测信号，它只是根据前一次的估计值和当前的观测值来估计信号的波形，它是用状态方程和递推方法进行估计的，其解是以估计值的形式给出的。卡尔曼滤波也分为连续形式和离散形式两种。由于目前几乎全部采用数字信号处理，所以，本节的数据仿真是以离散卡尔曼滤波形式给出的。
5、总结
本文着重从自动跟踪算法入手，以提高视频监控系统的智能性，后续的工作主要利用FPGA和高速的数字信号处理器实现算法（核心技术），以满足实时性与智能化的要求。实验证明，本文所提出用到的搜索策略即卡尔曼滤波算法具有一定稳定性和鲁棒性。
参考文献
[1] 慕春棣.嵌入式系统的构建[M].北京：清华大学出版社.2004.1
[2] 梁青鸟，黄心汉等.复杂条件下运动物体的视频检测[J].计算机工程与应用.2003.4
[3] 阮秋琦.数字图像处理[M].北京：电子工业出版社.2001.1
作者简介
周易（1986.12.— ），男，硕士，工程师，主要从事光电跟踪系统研究。