论文部分内容阅读
摘 要 网络监控是近20年内发展最为普及,应用最为广泛的新技术之一,从第一代的模拟监控,到第二代的数字监控,再到如今的网络监控,可以说经历了天翻地覆的变化。虽然网路监控有着其他几代监控技术所无法比拟的优点,但是它自身也存在着诸多的不安全因素,这样就会对企事业单位造成很大的安全隐患及损失,同时这也是对高校实验管理技术人员的一项新的任务和挑战。如何使现有的网络监控资源、不增加成本的前提下,保证网络监控运行稳定,录像文件不离散的丢失呢?本文作者根据实际工作背景和情况发现了导致网络监控录像离散丢失的一个重要因素—IP-SAN。
关键词 监控;IP-SAN;不可靠因素;研究
中图分类号:TP311 文献标识码:A 文章编号:1671-7597(2013)15-0059-02
1 案例介绍
作者所在工作单位是一所民办独立学院,由于目前独立学院收到社会学生的高度认可,国家政策的扶持,其师资规模不断的扩大,学生人数不断的递增,为了保障校园拥有一个安全的学习和生活环境,保卫处建议,网教中心提案,经学院领导的审批,采购了一批网络监控设备。
起初设计根据现有资金、设备及安全的考虑,录像仅维持15天,利用的是副码流的技术,但是学院领导调查后,为保险起见,录像技术改为主码流(高清录像),此时录像世间缩短了一半,仅可以保存将近7天。某天学生的寝室发生了丢东西的事件,经过录像的调查,事故所发时间在录像服务器上并为找到。学院领导非常恼火的说,必须查清是什么原因导致监控录像数据不存在的?是人为的还是设备的原因?
后来经过本人全天候72小时的排查,发现了此问题的原因,竟是IP-SAN存储所导致。
2 网络监控的部署
网络监控的部署是一项非常复杂的工作,包括外网部署和内网部署,如果是外网部署的话,同其他用户上网是捆绑在一起的,视频流会导致带宽的高占用率,用户上网速度慢等问题,即使通过网络协议的控制,也会导致更多问题急剧发生。那么我们就需要选择最可信的局域网络监控环境进行设计。
2.1 现有监控设备
基本情况如下:监控摄像头245个,神州数码千兆端口交换机多台,录像服务器、代理服务器各四台,主机内部配置均为CPU:志强四核2.4G、内存:ECC4G、硬盘:普通SATAII代500G,IP-SAN存储设备16盘位1T、16盘位2T各1台。
2.2 基于IP-SAN进行监控点部署
由于现有监控点245个,所以四个监控服务器前三台平均各61个监控点,最后一台62个监控点,为保障录像的稳定性和高读写性能,配置RAID5,那么16位1T的IP-SAN就只剩下约13T的存储空间,16位2T的IP-SAN仅有约27T的存储空间,合计只能利用的空间仅为40T。平均分配给每个服务器的空间为:245IP/40T≈6T,录像时间为:6T/61IP/15G≈7天,此时的配置已经达到了平均分配的目标。(注:15G=24小时*600M/小时,600M/每小时是根据查看录像主码流文件大小的实际情况所得,IP代表监控点),通过ISCSI映射到每个服务器,在数据库和代理服务器上分别添加相应的监控点,设置30分钟为一段开始录像。
2.3 录像文件出现离散现象
发现从某个时间点录像文件开始不连续,例如:13:30-14:00,14:04-14:34,14:36-15:00……的一系列现象。中间不是丢几分钟,就是录像的时间总数不对。下面步骤经过仔细的测试与排查:
1)经过Netmeter和sniffer及PING命令在数据库服务器上的测试,到达交换机、监控点和IP-SAN的结果都是比较稳定的。
2)经过Netmeter和sniffer及PING命令在录像服务器上的测试,到达交换机、监控点和IP-SAN的状态同样是比较稳定的。
3)经过Netmeter和sniffer及PING命令在代理服务器上的测试,到达交换机、监控点和IP-SAN的数据仍然是比较稳定的。
3 研究方法与初步解决方案
经过以上的三步测试之后,如果会出现录像时间不连续的情况,可以登录到IP-SAN存储上,利用PING命令测试正在录像的某个监控点,发现延迟竟然达到了Time=45ms,Time=60ms,Time=109ms,Time=120ms……的不连续现象。原来是录像文件在本地录满后自动跳转到IP-SAN服务器上,由于IP-SAN是经过普通的超5类双绞线进行与服务器连接的,当多个监控点同时进行录像文件上传的话,导致存储服务器拥塞、丢包等造成的,那么录像文件必然会出现离散现象。而图书馆采用的是光线作为“心跳”的核心线路,就不会出现此问题。虽然现有的交换机支持光口,可是1个光口模块能顶的上2台交换机的价格了,从整体上考虑,不能选择交换-光纤-存储,不光是成本的增加,如果是各个场所的交换机整体带宽能力的不足,也可能导致录像经过交换机传输到本地录像服务器就会出现瓶颈,尽管上边测试结果较为乐观。
3.1 探索问题
IP-SAN是通过配置磁盘阵列与ISCSI技术来达到节省服务器使用量与磁盘空间的目的性设备,虽然通信线路与通信设备基本符合了技术的要求,但是遇到特殊的情况,如:本文服务器负载大量监控点,IP-SAN为普通SATA硬盘(非企业级),IP-SAN采用双绞线与监控交换机连接等实际特点,并同时上传录像文件,导致拥塞、丢失、时间离散、文件离散现象的出现。那么降低监控点的数量又会对服务器造成浪费,因此就需要采取一种可靠又安全的方法来弥补现有情况的不足。
3.2 初步解决方案
采取“监控点-交换-直录”的办法解决此问题。后来经过这种方法测试,又将存储内部的单块2T磁盘,安装到了录像服务器上剩余的3个槽位,果然监控录像非常稳定,没有在出现录像文件丢失及时间离散的问题。IP-SAN服务器改为Windows Server系统,也充当了直录的服务器,将监控点设置为70以内,所用空间为:70IP*15G*8天≈8.4T,剩余空间部署到其他录像服务器上,录像基本稳定,没有以上的现象出现,问题以此解决。
4 结束语
由于学院网络监控这个项目是本人亲自部署、安装的,所以发现了此问题。尽管IP-SAN技术是当前比较流行的网络存储技术,但是在企事业单位中,也必须要考虑其他外界环境的因素,就像本文所举的实例一样。很多高校的计算机实验管理等技术人员在工作时并不太注重细节的要求,但是遇到这种细节的问题,我们必须要仔细认真的分析和应对。因为它不仅关系到自身,更关系到我们身边的每一个人的安全。希望从事高校实验管理的技术人员应该注意到IP-SAN技术潜在的不良因素。希望在利用和部署IP-SAN的同时,发现更多的关于IP-SAN的不良因素,为提高开发IP-SAN的技术人员提供更多的反馈信息,为科研事业做出点滴贡献。
参考文献
[1]鲁士文.存储网络技术及应用[M].清华大学出版社,2010.
[2]孙知信.网络异常流量识别与监控技术研究[M].清华大学出版社,2010.
[3]王淑红.系统与服务监控技术实践[M].电子工业出版社,2009.
[4]刘晶.局域网组建、维护与安全监控实战详解[M].人民邮电出版社,2010.
作者简介
王亮,长春大学旅游学院教育技术与网络信息中心,助理实验师,专业:电子商务,研究方向:软件工程。
关键词 监控;IP-SAN;不可靠因素;研究
中图分类号:TP311 文献标识码:A 文章编号:1671-7597(2013)15-0059-02
1 案例介绍
作者所在工作单位是一所民办独立学院,由于目前独立学院收到社会学生的高度认可,国家政策的扶持,其师资规模不断的扩大,学生人数不断的递增,为了保障校园拥有一个安全的学习和生活环境,保卫处建议,网教中心提案,经学院领导的审批,采购了一批网络监控设备。
起初设计根据现有资金、设备及安全的考虑,录像仅维持15天,利用的是副码流的技术,但是学院领导调查后,为保险起见,录像技术改为主码流(高清录像),此时录像世间缩短了一半,仅可以保存将近7天。某天学生的寝室发生了丢东西的事件,经过录像的调查,事故所发时间在录像服务器上并为找到。学院领导非常恼火的说,必须查清是什么原因导致监控录像数据不存在的?是人为的还是设备的原因?
后来经过本人全天候72小时的排查,发现了此问题的原因,竟是IP-SAN存储所导致。
2 网络监控的部署
网络监控的部署是一项非常复杂的工作,包括外网部署和内网部署,如果是外网部署的话,同其他用户上网是捆绑在一起的,视频流会导致带宽的高占用率,用户上网速度慢等问题,即使通过网络协议的控制,也会导致更多问题急剧发生。那么我们就需要选择最可信的局域网络监控环境进行设计。
2.1 现有监控设备
基本情况如下:监控摄像头245个,神州数码千兆端口交换机多台,录像服务器、代理服务器各四台,主机内部配置均为CPU:志强四核2.4G、内存:ECC4G、硬盘:普通SATAII代500G,IP-SAN存储设备16盘位1T、16盘位2T各1台。
2.2 基于IP-SAN进行监控点部署
由于现有监控点245个,所以四个监控服务器前三台平均各61个监控点,最后一台62个监控点,为保障录像的稳定性和高读写性能,配置RAID5,那么16位1T的IP-SAN就只剩下约13T的存储空间,16位2T的IP-SAN仅有约27T的存储空间,合计只能利用的空间仅为40T。平均分配给每个服务器的空间为:245IP/40T≈6T,录像时间为:6T/61IP/15G≈7天,此时的配置已经达到了平均分配的目标。(注:15G=24小时*600M/小时,600M/每小时是根据查看录像主码流文件大小的实际情况所得,IP代表监控点),通过ISCSI映射到每个服务器,在数据库和代理服务器上分别添加相应的监控点,设置30分钟为一段开始录像。
2.3 录像文件出现离散现象
发现从某个时间点录像文件开始不连续,例如:13:30-14:00,14:04-14:34,14:36-15:00……的一系列现象。中间不是丢几分钟,就是录像的时间总数不对。下面步骤经过仔细的测试与排查:
1)经过Netmeter和sniffer及PING命令在数据库服务器上的测试,到达交换机、监控点和IP-SAN的结果都是比较稳定的。
2)经过Netmeter和sniffer及PING命令在录像服务器上的测试,到达交换机、监控点和IP-SAN的状态同样是比较稳定的。
3)经过Netmeter和sniffer及PING命令在代理服务器上的测试,到达交换机、监控点和IP-SAN的数据仍然是比较稳定的。
3 研究方法与初步解决方案
经过以上的三步测试之后,如果会出现录像时间不连续的情况,可以登录到IP-SAN存储上,利用PING命令测试正在录像的某个监控点,发现延迟竟然达到了Time=45ms,Time=60ms,Time=109ms,Time=120ms……的不连续现象。原来是录像文件在本地录满后自动跳转到IP-SAN服务器上,由于IP-SAN是经过普通的超5类双绞线进行与服务器连接的,当多个监控点同时进行录像文件上传的话,导致存储服务器拥塞、丢包等造成的,那么录像文件必然会出现离散现象。而图书馆采用的是光线作为“心跳”的核心线路,就不会出现此问题。虽然现有的交换机支持光口,可是1个光口模块能顶的上2台交换机的价格了,从整体上考虑,不能选择交换-光纤-存储,不光是成本的增加,如果是各个场所的交换机整体带宽能力的不足,也可能导致录像经过交换机传输到本地录像服务器就会出现瓶颈,尽管上边测试结果较为乐观。
3.1 探索问题
IP-SAN是通过配置磁盘阵列与ISCSI技术来达到节省服务器使用量与磁盘空间的目的性设备,虽然通信线路与通信设备基本符合了技术的要求,但是遇到特殊的情况,如:本文服务器负载大量监控点,IP-SAN为普通SATA硬盘(非企业级),IP-SAN采用双绞线与监控交换机连接等实际特点,并同时上传录像文件,导致拥塞、丢失、时间离散、文件离散现象的出现。那么降低监控点的数量又会对服务器造成浪费,因此就需要采取一种可靠又安全的方法来弥补现有情况的不足。
3.2 初步解决方案
采取“监控点-交换-直录”的办法解决此问题。后来经过这种方法测试,又将存储内部的单块2T磁盘,安装到了录像服务器上剩余的3个槽位,果然监控录像非常稳定,没有在出现录像文件丢失及时间离散的问题。IP-SAN服务器改为Windows Server系统,也充当了直录的服务器,将监控点设置为70以内,所用空间为:70IP*15G*8天≈8.4T,剩余空间部署到其他录像服务器上,录像基本稳定,没有以上的现象出现,问题以此解决。
4 结束语
由于学院网络监控这个项目是本人亲自部署、安装的,所以发现了此问题。尽管IP-SAN技术是当前比较流行的网络存储技术,但是在企事业单位中,也必须要考虑其他外界环境的因素,就像本文所举的实例一样。很多高校的计算机实验管理等技术人员在工作时并不太注重细节的要求,但是遇到这种细节的问题,我们必须要仔细认真的分析和应对。因为它不仅关系到自身,更关系到我们身边的每一个人的安全。希望从事高校实验管理的技术人员应该注意到IP-SAN技术潜在的不良因素。希望在利用和部署IP-SAN的同时,发现更多的关于IP-SAN的不良因素,为提高开发IP-SAN的技术人员提供更多的反馈信息,为科研事业做出点滴贡献。
参考文献
[1]鲁士文.存储网络技术及应用[M].清华大学出版社,2010.
[2]孙知信.网络异常流量识别与监控技术研究[M].清华大学出版社,2010.
[3]王淑红.系统与服务监控技术实践[M].电子工业出版社,2009.
[4]刘晶.局域网组建、维护与安全监控实战详解[M].人民邮电出版社,2010.
作者简介
王亮,长春大学旅游学院教育技术与网络信息中心,助理实验师,专业:电子商务,研究方向:软件工程。