智能监控摄像头的研究

来源 :现代信息科技 | 被引量 : 0次 | 上传用户:wangcaihong121
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘  要:文章对于一种基于Linux系统和树莓派开发的智能监控摄像头进行了研究。面对人员情况复杂,布置环境多种多样的应用条件,这种摄像头具有无线化、小型化、智能化的特点,减少了对布置环境的要求以及对相关人员的需求;结合视觉信息处理、云台舵机控制,可以自动进行人脸识别、人脸验证、识别颜色等;并且在识别特征的基础上持续跟拍目标,适合紧急布置,识别特定目标并跟拍的任务。
  关键词:监控;人脸识别;特征检测
  中图分类号:TP277       文献标识码:A 文章编号:2096-4706(2020)07-0089-04
  Research on Intelligent Monitoring Camera
  ——Based on Dlib,OpenCV and Pan Tilt Camera with Double Steering Engines
  WANG Bowen,ZONG Bi,LEI Kaiyi,WU Mingliang,GUO Xinwei
  (China University of Mining and Technology,Xuzhou  221116,China)
  Abstract:This paper studies an intelligent surveillance camera based on Linux system and Raspberry Pi. In the face of the complex personnel situation and various application conditions of the layout environment,this kind of camera has the characteristics of wireless,miniaturization and intelligence,which reduces the requirements of the layout environment and related personnel requirements;combined with the visual information processing and the control of the pan tilt steering gear,it can automatically carry out face recognition,face verification,recognition color,etc.;and on the basis of recognition features,it can continue to following target,suitable for emergency arrangement,identification of specific target and following task.
  Keywords:monitoring;face recognition;feature detection
  0  引  言
  隨着我国城市化进程的不断加快,城市人口不断增加,安防工作的重要性不断提高。面对着更复杂的治安情况,传统摄像头已经不能满足使用需要。在大数据和人工智能技术的发展下,“智慧城市”需要全新的“感知层”——智能摄像头,来实现对整个城市运转情况的数据化。新型的摄像头需要具备回传有效数据、分布式计算、存储、自主追踪特征物体等能力。文章描述了一种新型智能摄像头的设计方案。
  此方案中采用Linux系统。Linux系统有以下优点:(1)工作稳定。Linux的内核相当稳定,可以常年工作而不宕机;(2)病毒免疫。Linux系统自带安全监测、防火墙等安全设
  置,从固定的软件源安装和下载程序,并且可以很容易地进行补丁升级,所以二进制病毒难以在系统中传播;(3)跨平台能力强。Linux一方面采用了可移植的Unix标准应用程序接口,可以支持许多系统平台;另一方面其网络功能相当完善,可以方便地收发数据。在图像处理方面,主要采用机器视觉库OpenCV以及深度学习Dlib库进行处理。OpenCV是一个功能强大的机器视觉库,底层代码使用C++编写,运算速度快,处理性能好。Dlib库是集机器学习、计算机视觉、图像处理为一体的函式库,提供Python的API,便于开发。在控制方面,采用了较为常用的PI算法。
  1  国内外研究情况
  国际上,相关研究讨论开展得较早。在2000年左右,计算机视觉方面的权威期刊IJCV和IEEE T-PAMI就开始关注利用计算机视觉进行视频监控的技术,并且相继出版了相关专刊。而在实际应用方面,英国雷丁大学计算机系的VIEWS项目组研究出一种可用于监控系统的新技术,该技术依靠监视反常行为来识别嫌疑人,例如扒手、抢劫犯等等,这种技术的应用有助于消除公共场所的安全隐患。美国国防部于1997年成立了VSAM项目,该系统可以实现对战争以及民用区域的军事安全监控。英国Reading大学和法国INRIA科研院合作开发出名为“AVITRAC”的智能视频监控系统,该系统应用于人流量极大的机场,通过分析机场行人的异常行为,可以提前预警,有助于提升机场的安防能力。除此之外,国外的VisioWave、ObjectVideo和Vident等公司不断推出市场化的智能监控产品,挤占新兴市场智能监控的份额。
  在国内,对于智能监控的研究讨论也有了很大进展。2002年5月在北京召开了第一届全国智能视觉监控学术会议,该会议可以说是国内重视智能监控的开端;中科院自动化研究所成立了智能视觉监控研究组,致力于研究视觉监控技术并推向实用[1];截至2018年9月,中国已在20多个省市实现了“天网系统”和公安系统的对接,该监控系统基于人脸识别和大数据,可以在3 s内完成嫌疑人的身份确认,进一步保障了城市治安。除此之外,百度、华为集团等企业也推出了智能监控系统,促进了智能监控技术的商品化。   2  系统总述
  2.1  硬件平台
  该系统采用Raspberry Pi 3B+作為图像处理与控制云台的核心。Raspberry Pi 3B+是一款微型计算机,计算能力较强,并且配有I/O口,可以实现对小功率器件的直接控制。在摄像头方面,本系统采用大景深摄像头,通过USB2.0接口直接接入树莓派,具有传输稳定、抗干扰能力强的优点。与摄像头相配合的云台为两自由度双舵机云台,采用PWM波占空比对应转轴角度的设计,例如输入占空比为12.5的PWM波,可以使舵机转轴转至180°方向。云台可实现在水平方向旋转180°、竖直方向旋转90°,该结构使用D-H方法,在控制方法部分会进行详细分析。以上由Raspberry Pi 3B+、云台、摄像头构成的系统通过无线局域网相连,可以与监控台通信,显示实时画面。
  2.2  软件平台
  Raspberry Pi支持Linux系统,在该项目中采用官方优化版Raspbian系统。Raspbian是由Mike Thompson与Peter Green基于Debian系统重建而成的[2],正是他们完成了巨大的工作量,才有了这款性能强大、用户友好度高的微型计算机。在此方案中,利用Raspbian系统部署Python-OpenCV-Dlib环境,为图像处理的过程带来了优化与便利,并利用深度学习的工具,实现了对目标的检测。在控制程序中,主要采用Rpi.Gpio库编程,该库函数提供了Python接口,可以通过程序直接控制树莓派的I/O口输出PWM波,通过改变PWM波的占空比来控制舵机的角度,从而实现对目标物体的追踪;然而摄像头反馈的坐标差并不能直接用于调整占空比的大小,该问题的解决将在控制算法部分详述。另外,为了与监控台实现回传画面的功能,本系统使用了MJPG-Streamer流视频项目的局域网视频流服务。
  2.3  系统实现
  通过图像处理算法,我们可以获取目标的特征信息,例如脸部特征以及身体的颜色特征,建立一个独立文件来标定目标;在接收到被标定目标的坐标后,云台控制算法使摄像头持续自动跟踪目标,将信息回传监控台并发出警告。通过软件平台与硬件平台的配合,从而实现整个系统,智能监控系统整体结构图如图1所示。
  3  图像处理方法
  3.1  图像预处理
  在Raspbian系统中,利用Python+OpenCV可以轻松地对摄像头捕捉到的图片进行预处理以及读取、存储。图片的预处理由降噪、图片的形态学变换、色彩空间的转化等部分组成[3],预处理后的图片可以让后续的检测与识别进行得更好。降噪的一般方法有线性的均值滤波、高斯滤波以及非线性的中值滤波、双边滤波[4]。在该系统中,采用高斯滤波进行降噪。高斯滤波使用离散化窗口滑窗卷积的方式对图片进行平滑化处理,在平滑去噪的同时又尽可能地保留了图像的总体灰度分布特征,能够更好地配合人脸检测中基于Dlib机器视觉库的HOG算法的实现。图片的形态学变换主要利用了腐蚀操作。腐蚀操作利用了OpenCV中的erode函数,该函数可以将一像素点替换为对应邻域上最小的像素值,可以让图片的轮廓更鲜明。另外,由于摄像头返回了RGB格式的图像,这种格式并不能良好地展示图片的全部特征,因此利用OpenCV的cvtColor函数可以将RGB图像转化为HSV格式,通过色调、饱和度、明度更好地展现图片的特点。另外,该方法也可用于得到灰度化图片。另外,由于树莓派的计算能力限制,如果处理数据过大,其实时性就会不可避免地受到影响。在该系统中,为了减小计算量,采用了resize函数中的双线性内插值方式缩小图片,可以保证图像尽量不失真,并且大大减小了计算量。
  3.2  色彩识别
  色彩检测的算法利用了inRange函数,通过限定三个通道的阈值,只通过想要的颜色,就可以得到去除掉背景的图像。得到目标色彩的图像后再利用threshold函数获取轮廓检测的最佳阈值,从而使用findContours函数找到该物体的轮廓,在fingContours中采用cv2.CHAIN_APPROX_SIMPLE模式,即可迅速地获取目标物体的矩特征点。再进行简单处理即可标识出物体。该方法在实际运用中识别性能好,对树莓派计算量要求不高。但其缺点也显而易见:没有足够的智能可以识别具体的行人,因此可以在紧急情况下与行人检测配合使用,从而更精确地识别行人。
  3.3  人脸检测、编码与识别
  人脸检测、编码和识别算法是基于优化后的Dlib库实现的。Dlib是一个领先的开源深度学习库。该深度学习库具备了快速、精确的特点。在算法选择上,由于CNN的运算需求过大,树莓派的计算能力无法满足,因此采用较为成熟且准确度较高的HOG算法来进行检测。HOG算法的步骤为:(1)归一色彩空间。由于求取方向梯度不需要彩色图片,因此使用灰度图片即可,并且为了尽量放大图片特点,在色彩空间归一化之后应进行一次校正。图片预处理的方法已在图像预处理部分说明,此处不再赘述;(2)梯度运算。对于归一化后的图片进行梯度计算,即找出图片的变暗的程度与方向,就得到了梯度及其梯度方向;(3)对杂乱的梯度值进行标准化,也就是将一个区域以中心为原点划分为多个区域,将每个小区域中的梯度向量标准化,这样就将每个小区域中的梯度向量化为了9个特征向量(bin);(4)此时利用滑窗(block)再将上述小区域中的特征向量进行标准化,就得到了原始图片的HOG特征图。那么将此特征图与大量人脸数据提取出的HOG特征图进行对比,即可找出人脸。在图像预处理部分,我们提到了图像的缩小,所以在这里找到的人脸数据相比于原图像中的人脸也正好相差了缩小的比例,因此我们再将所找的人脸坐标乘以相应的比例,就可以在原图像中标出人脸。   将得到的人脸图与由DCNN(Deep Convolutional Neural Networks)即深度卷積神经网络训练好的模型进行对比,可以在图中找出128个特征点,根据这128个特征点,在向量机(SVM)的帮助下,即可找出与之最接近的人脸,从而实现人脸识别的功能。该思路也可用于识别行人。
  4  控制方法
  首先,我们对云台结构进行简要说明。该云台装配了两个舵机,形成了两个转动自由度,分别为水平转动180°以及竖直向上转动90°。在对其结构的研究过程中采用D-H坐标系(Denavit-Hartenberg)标准版进行建模。该建模方法可以方便地计算出每个关节的角度参数变化对于末端执行器(摄像头)的影响。图2为MATLAB建模结果。
  控制算法采用稳定性好、动态响应迅速、可消除静差的PI算法即比例积分算法实现,控制系统结构框图如图3所示。
  通过视觉处理部分反馈,即目标物体与摄像头Z轴(D- H坐标系中)的坐标差,就得到了偏差量e(k),但控制系统中云台的控制信号必须为一定占空比的PWM波,因此我们必须将e(k)转化为相应的占空比变化量再进行控制。
  在实际使用时,由于不希望舵机抖动造成磨损,在控制算法中加入了死区环节。死区环节表现在实际过程中即为当目标物体中心坐标处于摄像头拍摄画面中间部分一个固定大小的圆内时,云台舵机停止运行。
  5  实验仿真及结果分析
  作者利用图4中的完整硬件系统完成了本次试验,并利用无线网传输了监控画面。图5中采用OpenCV中的Haar级联器实现快速的人脸识别,实时性可以满足,但精度不高;在图6中配合Dilb与HOG算法,我们得到了十分准确的人脸验证。
  6  结  论
  本文介绍了基于Dlib与OpenCV的智能摄像头,以及其硬件及软件平台的搭建,该系统可以实现人脸的检测、识别,以及对于特定物体的持续跟踪拍摄。该系统基于Linux系统,以Raspberry Pi 3B+作为处理核心,采用无线连接的方式。实现了无线布置监控、实时回传画面的功能。
  在研究过程中,也发现了该方案存在的一些问题。首先,由于处理器性能的限制,在处理过程中必须降低图片质量,较少运算量才可以得到比较流畅地处理图片流。第二,在舵机的控制过程中,由于舵机本身的性能和算法误差的影响,非常容易产生抖动,导致拍摄画面不好,难以识别。最后,由于未进行防水处理等措施,不能裸机在特殊天气工作。
  安防措施是保证人民人身财产安全的重要屏障。在智慧城市的建设过程中,智能摄像头应该拥有更快的运算速度,并且以更高的网速进行信息回传,并结合主机进行大数据挖掘、数据分析,对整个城市的安防状况包括人流量、车流量等,作出统计、分析与预测,并采取相关预防措施。我们相信,通过安防人的不懈努力,未来这些问题都将得到解决。
  参考文献:
  [1] 叶克秋.基于全景摄像机的智能视频监控系统研究 [D].杭州:浙江大学,2012.
  [2] 付静飞.健康监测与服务系统研究与开发 [D].西安:西安理工大学,2017.
  [3] 张齐.图像处理系统的设计与实现 [D].南京:南京邮电大学,2018.
  [4] 黄窈蕙.智能驾驶汽车视觉图像处理技术 [J].公路交通科技(应用技术版),2018,14(8):323-326.
  作者简介:王博文(1998.05—),男,汉族,内蒙古敖汉旗人,本科,主要研究方向:自动化。
其他文献
摘 要:钠冷快堆是目前技术最为成熟的一种四代堆型。为确保快堆安全,需开发适用于快堆的征兆导向事故运行规程体系。该文以中国实验快堆为研究对象,采用快堆系统分析程序NUSOL-LMR进行建模,将稳态计算结果与CEFR主要设计参数对比验证模型的正确性;通过执行征兆导向的停堆导则和失去二次热阱响应导则来处理丧失热阱事故,验证快堆丧失热阱事故征兆导向处理策略的有效性,并验证停堆导则、失去二次热阱响应导则的正
期刊
摘 要:依托嘉兴职业技术学院“教育部第二批现代学徒制试点”建设工作,在计算机网络技术专业现代学徒制试点工作的推动过程中,确定以网络工程员和云计算工程员为目标岗位,创建了云网融合现代学徒班。依据典型岗位标准制定专业教学标准,对人才培养模式进行改革创新,以生产性项目为导向进行课程体系优化,总结了试点工作取得的一些成果,同时将存在的问题进行剖析、提出建议。  关键词:现代学徒制;云网融合;校企合作  中
期刊
摘 要:为改变传统的学习环境,重构创新实验室学习空间,满足学生个性化、多样性学习需求。学校应用物联网技术,开发“泛在学习系统”平台,通过实践重新改建机器人实验室学习空间,形成从设计、开发、搭建到实践的具体“泛在学习系统”应用路径。有效重建了学生自主学习的新空间,提升了学习资源的利用率,满足了学生个性化发展的需求,支持了学习方式的转变,促进了教学方式的转型。  关键词:物联网技术;泛在学习系统;创新
期刊
摘 要:计算思维作为教育部新提出的中小学信息技术课程核心素养之一,是培养创新型人才的关键。当代小学信息技术教师需要思考如何在教学中更好地培养小学生的计算思维。而Scratch作为一款简易的图形化编程软件,易于被初学编程知识的小学生所接受掌握。通过对正处于初学编程知识阶段的两个小学班级进行教学对比,发现Scratch融入教学比传统的教学能更有效地培养小学生计算思维能力。  关键词:信息素养;Scra
期刊
摘 要:文章分析高职计算机类专业课程教学现状,并且提出了通过组建团队、设计混合教学框架、重组课程内容、建设资源、修订教学评价体系等一系列工作开展混合教学改革,以专业课程“Linux操作系统”中实施的混合教学八步递进法为例,阐明其满足“互联网+”背景下的高职教学改革要求,进而提升了实际教学效果。  关键词:互联网+;混合教学;计算机专业课程  中图分类号:G712;TP3-4 文献标识码:A 文
期刊
摘 要:学生学习兴趣直接影响学生的学习质量。如果能准确了解学生学习兴趣,对于提高学生学习积极性、学校教育质量有着重要意义。随着高校校园信息化,校园内数据倍增,将数据用于进一步挖掘分析,对于校园、教育管理具有非常重要的作用。其中,对大学生在校园内的各种行为所产生的数据进行采集、预处理、分析、挖掘,多维度挖掘学生学习兴趣,一方面可以使得学生更加全面了解自己,学校施展教育更有针对性;另一方面,学生可以根
期刊
摘 要:视频被越来越广泛地应用于课堂教学、混合教学与在线教学中,但传统视频只能线性播放,交互性弱。借鉴認知负荷理论、教学交互理论,通过对“用电子表格计算”课程内容的设计,利用Adobe Captivate软件开发交互式教学视频,实现分步呈现以及视频标签、操作反馈、分支选择、嵌入习题等交互功能,为设计、开发计算机软件类课程的交互式教学视频资源提供借鉴。  关键词:交互式视频;教学视频;计算机软件类课
期刊
摘 要:大学文科计算机课程是教育部要求非计算机专业文科学生必修的公共基础课程,是信息时代大学生必须掌握的基本技能,为了适应新时代对于大学文科学生的要求,实现相应的培养目标,必须摆脱传统公共基础课的教学模式,同时也不能照搬一般计算机专业课程的教学方式。从“宏观层次、中观层次和微观层级”三个方面探讨如何进行大学文科学生的计算机深度教学课程设计改革探讨,以“Photoshop 2020”为例进行教学研究
期刊
摘 要:随着互联网的不断发展,新媒体研究早已成为国家层面的重要主题,新媒体也日益成为人们重要的生活方式,新媒体类课程对于传媒类专业学生的发展与就业十分重要,其实践性较强,要求学生通过课程学习,不仅能加深对所学知识的理解,更重要的是能综合运用所学知识与技能解决复杂的现实问题,文章以新媒体类课程为例,探究互联网视阈下线上线下混合式教学模式的运用。  关键词:线上线下混合式教学;新媒体;课程  中图分类
期刊
摘 要:由于技工院校学生普遍受知识水平、经验阅历、感受体验等多方面的限制,创新意识和创造能力的不足成了当今技工院校学生的短板。为了解决创新创造能力薄弱的问题,以及实现专业教学与企业需求的有效对接,现以广州市轻工技师学院多媒体制作专业高技层次核心课程“高级影视特效制作”的教学作为研究基础,尝试在教学过程中引入成功企业的创意构思工作方法。通过教学的实践证明,概念塑造和创意思考法能有效引导学生激发内在潜
期刊