论文部分内容阅读
摘 要：在IP网络应用、流量（特别是视频类流量）的爆发式增长和冲击下，传统IP网络在流量调优和流量均衡方面逐渐显现出应对不足。传统网络基于传统架构，需要通过网络管理员手动配置的方式疏导相关流量，对于网络弹性化调整没有好的应对方法。
本文是作者在日常工作中的工程实例通过整理提炼之后形成的。本文选题的出发点是结合运营商在实际网络环境中针对大流量冲击所实施的分流技术进行研究，在不同网络层级的基础上，分别对DPI用户数据深度检测技术进行了应用部署的介绍及研究，其中DPI技术主要侧重于对用户在互联网中的访问行为进行数据采集和展现，为分析用户行为、实现精准营销提供了数据基础。
关键词：互联网；分流；检测；智能
1、引言
随着科学技术的不断进步，IDC业务为主的大数据需求在互联网、虚拟化、云计算等新技术的不断推动下，以每年平均30%的速度出现近似爆发式的增长。“大数据”应用越来越多的出现，将引领未来人类的又一次变革。未来几年，互联网大数据的市场规模还将继续呈现高速增长态势。而网络技术也正发生着根本性的变化，响应国家节能减排号召的综合数据中心的高效率、低消耗的各种解决方案正在逐渐成为主流；云计算等虚拟技术在高可用、高灵活、高效率方面的优势显示得淋漓尽致，不仅提高了资源可用率和资源利用率，同时还可以弥补传统数据业务所带来的诸多不足。
在数据以爆炸式速度递增的信息时代，海量数据给商业发展和科学研究带来了新的契机。随着生活不断发展，各技术更新快、信息化要求高的各大行业对大数据服务的不断增长的需求，将不断快速的推进大数据市场的不断发展和扩大。
中国的互联网从开始之初著名的“8848”开始，一直在进行这探索和前进之路。近年来，随着中国互联网在生活中的不断普及，整个互联网的发展也在不断经历的浪潮，这其中有过经验和收获，同样也有着失落和教训。特别是全程参与互联网运营的运营商来说，在经历了高光和失败后，不断的总结经验，不断对自身进行完善，包括现阶段不断的在大数据形势下摸索和找准自身的定位显得尤为重要[3]。作为基础服务提供商，网络和机柜资源是核心资源。随着网络内容的不断丰富，网络流量也越来越大，信息化服务器也倾向于本地部署，以实现网络流量的本地化，提升用户访问的流畅度和满意度。同时作为互联网大数据基础服务提供商的运营商企业，也正在大规模加速推进流量本地化。
运营商目前建立的不仅仅是数据中心，更是一个大数据汇聚和转发的巨型信息交换中心。随着Internet的高速发展，用户行为发生了巨大的变化，互联网上的内容从以文字为主演变成以图片和视频为主，因此，IDC基础服务提供商必须提供更高的带宽，才能吸引IDC运营企业入驻。
2、DPI分流技术
1、DPI系统的技术实现方式主要分为两步：
通过分光器镜像流量引入DPI系统：通过分光器对城域网上行流量进行分光，分光比例为7：1：1：1，其中70%光强输出支路按原路返回用户互联网业务支撑；其中一份10%的光强输出支路完成出口上行流量至DPI 系统的流量采集。
DPI系统业务处理流程：DPI 系统通过镜像方式获取网络流量数据；DPI系统对流量数据进行分析，并将结果保存在数据库中；管理员通过 Web 进行管理，配置相应的控制策略。
2、通过上述技术实现，DPI技术可以实现如下系统功能：
（1）数据汇聚和转发：负责汇聚省内HTTP GET消息记录和AAA消息记录，并按可配置的时间要求及必要的清洗规则过滤后转发至相应分析平台，以提供大数据分析必须的DPI采集数据。
（2）应用流量流向分析數据的汇聚和分析：汇聚城域网流量分析数据（城域网DPI设备采集）、IDC流量分析数据（IDC ISP设备采集），通过面向对象技术及统计分析模块完成结果统计、应用流量流向分析、P2P流量检测、非法级联检测等数据收集和分析，同时根据管理员的实际工作需求进行不同类型、不同结果的输出。
（3）实现web信息推送功能的持续开展，可实现和智能提速、营帐系统等对接推送催缴费信息和运营商的欢迎页面以及其他重要的资讯信息，系统可以统计详细推送日志和统计报表。
3、工程应用实例
1、系统架构设计
在工程现网实际部署中，采用可以节省DPI的设备投资资源，通过对城域网核心路由器出口的数据用镜像方式进行采集，将相关目标流量镜像到指定的端口，可以完成DPI的集中数据收集和数据分析。
系统建成后网络拓扑图如下图所示：
2、部署成果
DPI系统建成后，对用户相关数据进行了可视化输出。在DPI系统建成之前，我们无法对本省的网络流量流向数据进行统计和分析、无法综合整理用户的应用流量使用情况。
DPI系统建成后，我们通过系统分析可以得出湖北省至广东、江苏、上海三省的访问流量占全网访问总流量的40%，达到2280G，且高低峰区分时明显；实现针对目标用户推送率达100%，为大数据分析提供了有力手段。
参考文献
[1]徐鹏.大数据视角分析学习变革——美国《通过教育数据挖掘和学习分析促进教与学》报告解读及启示.远程教育杂志.2013：12-14.
[2]罗承，刘亮.IDC的商业模式研究.电信工程技术与标准化.2010：77-79.
[3]彭久生，梁雄健.我国运营商IDC业务发展建议.通信发展战略与业务管理创新学术研讨会论文集.2005：32
[4]颜明.IDC技术机房建设相关技术研究.中国新通信.2017：5
[5]陆鹏，李德松.信息中心机房建设探讨.机电信息.2017：6
[6]胡文启等.网络安全大全.清华大学出版社.2008：65.
[7]郭亚杰，李华，敖腾河；DNS服务器解析性能测试方案设计.广西大学学报：2011
[8]宋正德，王锋.IP网络路由浅析.四川省通信学会Ip应用与增值电信技术会议.中国会议.2011
[9]王彬，戴连奎，吴铁军.TCP/IP网络的动态模型描述.电路与系统学报.2004
[10]Martin R.Managing Vulnerabilities in Networked Systems.Computer.2001：11
[11]曹晃.网络TCP/IP协议分析.科技风.2009：16
[12]吕娜.对传统拥塞控制策略改进的构思.网络安全技术与应用.2007：5
[13]曾鸿孟.运营商如何实现宽带智能提速.通信世界.2015：26
作者简介
蔡靖，男，湖北省武汉市人，民族：汉，职业：工程师，学历：工程硕士。研究方向：互联网技术。单位：湖北省电信有限公司。
（作者单位：湖北省电信有限公司）
本文是作者在日常工作中的工程实例通过整理提炼之后形成的。本文选题的出发点是结合运营商在实际网络环境中针对大流量冲击所实施的分流技术进行研究，在不同网络层级的基础上，分别对DPI用户数据深度检测技术进行了应用部署的介绍及研究，其中DPI技术主要侧重于对用户在互联网中的访问行为进行数据采集和展现，为分析用户行为、实现精准营销提供了数据基础。
关键词：互联网；分流；检测；智能
1、引言
随着科学技术的不断进步，IDC业务为主的大数据需求在互联网、虚拟化、云计算等新技术的不断推动下，以每年平均30%的速度出现近似爆发式的增长。“大数据”应用越来越多的出现，将引领未来人类的又一次变革。未来几年，互联网大数据的市场规模还将继续呈现高速增长态势。而网络技术也正发生着根本性的变化，响应国家节能减排号召的综合数据中心的高效率、低消耗的各种解决方案正在逐渐成为主流；云计算等虚拟技术在高可用、高灵活、高效率方面的优势显示得淋漓尽致，不仅提高了资源可用率和资源利用率，同时还可以弥补传统数据业务所带来的诸多不足。
在数据以爆炸式速度递增的信息时代，海量数据给商业发展和科学研究带来了新的契机。随着生活不断发展，各技术更新快、信息化要求高的各大行业对大数据服务的不断增长的需求，将不断快速的推进大数据市场的不断发展和扩大。
中国的互联网从开始之初著名的“8848”开始，一直在进行这探索和前进之路。近年来，随着中国互联网在生活中的不断普及，整个互联网的发展也在不断经历的浪潮，这其中有过经验和收获，同样也有着失落和教训。特别是全程参与互联网运营的运营商来说，在经历了高光和失败后，不断的总结经验，不断对自身进行完善，包括现阶段不断的在大数据形势下摸索和找准自身的定位显得尤为重要[3]。作为基础服务提供商，网络和机柜资源是核心资源。随着网络内容的不断丰富，网络流量也越来越大，信息化服务器也倾向于本地部署，以实现网络流量的本地化，提升用户访问的流畅度和满意度。同时作为互联网大数据基础服务提供商的运营商企业，也正在大规模加速推进流量本地化。
运营商目前建立的不仅仅是数据中心，更是一个大数据汇聚和转发的巨型信息交换中心。随着Internet的高速发展，用户行为发生了巨大的变化，互联网上的内容从以文字为主演变成以图片和视频为主，因此，IDC基础服务提供商必须提供更高的带宽，才能吸引IDC运营企业入驻。
2、DPI分流技术
1、DPI系统的技术实现方式主要分为两步：
通过分光器镜像流量引入DPI系统：通过分光器对城域网上行流量进行分光，分光比例为7：1：1：1，其中70%光强输出支路按原路返回用户互联网业务支撑；其中一份10%的光强输出支路完成出口上行流量至DPI 系统的流量采集。
DPI系统业务处理流程：DPI 系统通过镜像方式获取网络流量数据；DPI系统对流量数据进行分析，并将结果保存在数据库中；管理员通过 Web 进行管理，配置相应的控制策略。
2、通过上述技术实现，DPI技术可以实现如下系统功能：
（1）数据汇聚和转发：负责汇聚省内HTTP GET消息记录和AAA消息记录，并按可配置的时间要求及必要的清洗规则过滤后转发至相应分析平台，以提供大数据分析必须的DPI采集数据。
（2）应用流量流向分析數据的汇聚和分析：汇聚城域网流量分析数据（城域网DPI设备采集）、IDC流量分析数据（IDC ISP设备采集），通过面向对象技术及统计分析模块完成结果统计、应用流量流向分析、P2P流量检测、非法级联检测等数据收集和分析，同时根据管理员的实际工作需求进行不同类型、不同结果的输出。
（3）实现web信息推送功能的持续开展，可实现和智能提速、营帐系统等对接推送催缴费信息和运营商的欢迎页面以及其他重要的资讯信息，系统可以统计详细推送日志和统计报表。
3、工程应用实例
1、系统架构设计
在工程现网实际部署中，采用可以节省DPI的设备投资资源，通过对城域网核心路由器出口的数据用镜像方式进行采集，将相关目标流量镜像到指定的端口，可以完成DPI的集中数据收集和数据分析。
系统建成后网络拓扑图如下图所示：
2、部署成果
DPI系统建成后，对用户相关数据进行了可视化输出。在DPI系统建成之前，我们无法对本省的网络流量流向数据进行统计和分析、无法综合整理用户的应用流量使用情况。
DPI系统建成后，我们通过系统分析可以得出湖北省至广东、江苏、上海三省的访问流量占全网访问总流量的40%，达到2280G，且高低峰区分时明显；实现针对目标用户推送率达100%，为大数据分析提供了有力手段。
参考文献
[1]徐鹏.大数据视角分析学习变革——美国《通过教育数据挖掘和学习分析促进教与学》报告解读及启示.远程教育杂志.2013：12-14.
[2]罗承，刘亮.IDC的商业模式研究.电信工程技术与标准化.2010：77-79.
[3]彭久生，梁雄健.我国运营商IDC业务发展建议.通信发展战略与业务管理创新学术研讨会论文集.2005：32
[4]颜明.IDC技术机房建设相关技术研究.中国新通信.2017：5
[5]陆鹏，李德松.信息中心机房建设探讨.机电信息.2017：6
[6]胡文启等.网络安全大全.清华大学出版社.2008：65.
[7]郭亚杰，李华，敖腾河；DNS服务器解析性能测试方案设计.广西大学学报：2011
[8]宋正德，王锋.IP网络路由浅析.四川省通信学会Ip应用与增值电信技术会议.中国会议.2011
[9]王彬，戴连奎，吴铁军.TCP/IP网络的动态模型描述.电路与系统学报.2004
[10]Martin R.Managing Vulnerabilities in Networked Systems.Computer.2001：11
[11]曹晃.网络TCP/IP协议分析.科技风.2009：16
[12]吕娜.对传统拥塞控制策略改进的构思.网络安全技术与应用.2007：5
[13]曾鸿孟.运营商如何实现宽带智能提速.通信世界.2015：26
作者简介
蔡靖，男，湖北省武汉市人，民族：汉，职业：工程师，学历：工程硕士。研究方向：互联网技术。单位：湖北省电信有限公司。
（作者单位：湖北省电信有限公司）