论文部分内容阅读
【摘 要】在全球互联网蓬勃发展的今天，运营商面临着前所未有的严峻挑战。互联网内容大量在固网网内形成事实上的垄断，网间互访通道受到竞争对手控制，严重影响移动互联网用户访问体验。通过流量分析与监控、内容加速系统、第三方出口和内容源直接引入等多种手段，用户上网速度得到迅速提升，有效改善了移动宽带的业务形象，有利于进一步推动宽带业务的大发展。本文分析了如何构建多手段协同的互联网流量综合管控体系问题。
【关键词】多手段协同；互联网流量；综合管控体系
1.多手段协同的互联网流量综合管控体系构建
通过流量分析与监控、内容加速系统、第三方出口和内容源直接引入等多种手段，用户上网速度得到迅速提升，有效改善了移动宽带的业务形象，有利于进一步推动宽带业务的大发展。
1.1流量分析与控制
在未对出口流量进行分析与控制之前，出口P2P流量占比达70%，08年底流量监控平台上线，对省网40G出口流量进行分析和控制，目前将峰值P2P流量压缩了15%。
通过流控与缓存的配合，达到既降低出口流量减少结算又不降低甚至提升用户使用感知的目的。
1.2内容加速系统
通过构建内容加速系统，改变传统网站重镜像模式，在网内客户访问过程中进行解析转换，在接到服务请求后通过主动的内容请求和缓存实现加速服务。利用其CDN平台对近千个门户类网站内容加速，覆盖省内约40多万宽带用户，平均访问速度提高2-3倍，峰值流量达到3.1Gbps。
1.3第三方出口
通过第三方出口，将CDN的回源及部分高价值业务进行专门疏导，通过缓存与第三方出口的配合，有效规避竞争对手的监测与封堵，充分发挥第三方出口的网络优势，提升缓存的效果。
1.4内容引入
通过流量分析与监控，深入分析现网用户行为，筛选出TOP100，成立专门团队，完成了66家核心内容引入，并与最大的独立IDC世纪互联合作，近期批量引入其网内近3000家网站，可有效提升网站访问量，提高用户满意度。
2.主要创新点
2.1流控与缓存协同互动，综合管控出口流量
2.1.1技术原理
流量控制主要通过旁路分光方式对所有出口流量进行监控分析，对于不同协议（http、P2P等）的流量进行不同处理，一般可通过发送干扰包方式进行带宽控制。
流量控制可有效降低出口流量，减少结算费用，但对用户使用感知影响较大，缓存主要通过对流量的分析、识别，对不同协议的流量根据用户访问的频度对内容资源进行缓存，减少相同内容多次出网访问，同时可明显提升用户感知。
通过两者的协同互动，可在有效控制出口流量的同时提升用户的使用感知。
2.1.2实施方案
通过流量监控平台（华为SIG）将出口P2P峰值流量压缩15%。
P2P流控策略主要对P2P下载类应用进行实施，暂不对P2P视频类业务进行部署，避免引起批量投诉。
流控对用户使用感知的影响通过缓存平台进行弥补。
迅雷专用缓存主要针对迅雷下载应用，由迅雷公司进行全国性统一调度，一般命中率在40%左右。
通用型缓存主要针对主流的迅雷下载、BT、电驴等应用（三类应用占P2P下载类流量的90%以上），根据用户访问频度设定缓存策略，命中率较高，一般超过80%。
2.2基于用户行为深度分析的内容资源联动更新
通过对缓存平台数据的深度分析，可有效了解目前用户下载、视频的热点，根据此热点数据，将其提交给本地下载类、影视类资源网站，作为其进行内容更新的重要参考数据。
这种联动因为是以现网用户的实际行为为基础的，因此可有效激活本地资源类网站的访问量，同时也可显著减少用户的实际下载量，减轻缓存平台的压力。
2.3缓存环境下内网P2P用户模式的重组还原
P2P应用与网络无关，易造成运营商出口拥塞，其完全为离散的分布式架构，流量难以管理。
通用型缓存通过截获P2P用户请求，将其引导到缓存，相当于将应用模式从分布式转换成了C/S模式。
这样的转化可有效降低出口流量，控制网内用户的流量，但也会给缓存带来较大的压力，随着用户的增长，缓存的负载会逐步加大，会逐渐成为瓶颈。
通过缓存平台优先返回本区域peer用户地址，引导用户之间自行的数据交换，一方面可控制出网的流量，同时可在本区域内还原P2P技术的優势，提升用户感知，减轻缓存平台压力。
2.4 Web网站资源缓存模糊匹配
目前大型网站为了支撑大规模用户的访问，一般资源存储采用全分布式架构，硬件上会进行分组，在每个组内再进行负载均衡。
这样的架构对于缓存来说存在一定的难度，因为相同的内容用户每次访问的绝对地址是随机变化的，如果根据地址进行缓存内容匹配的话，命中率相当低。
为有效解决该问题，将目前缓存内容匹配升级成模糊匹配，重点按文件名进行匹配而忽略前面的随机地址，这种方式将显著提高命中率，从而可有效提高视频类网站的访问质量和感知。
2.5基于第三方出口的缓存加速及中转代理
目前解决互联互通瓶颈最有效的方式是租用第三方出口，进行本地化疏通。但容易遭受竞争对手的封堵，质量无法保障。
将第三方出口配合缓存使用是一种全新的应用模式，一方面其可以有效规避对方的监测，同时可充分发挥第三方出口的网络优势。
由于缓存采用优质的第三方出口，而普通用户还是通过互联互通出口进行数据访问，因此在访问缓存没有命中的文件时，缓存下载的速度将优于用户下载速度，缓存可边下载边向用户吐出已下载的数据流量，以达到降低出口流量、加速用户下载的目的。
除此之外，采用代理中转（不缓存）方式对于提高视频类应用的使用感知也有明显的效果。
2.6基于智能DNS解析的网间双向互访CDN加速
2.6.1技术原理
目前解决www网站访问速度问题的最有效方式即是采用CDN技术进行访问加速，在传统的CDN网站加速的前提下，我公司发了CPOS业务、CPIS业务。CPOS业务主要是将移动的互联网业务推到其他运营商，同时可以降低自身访问压力，减少维护成本；CPIS业务主要面向宽带用户，将互联网上的内容缓存到移动网内，提高用户的访问速度，进而提升移动宽带产品的竞争力。
2.6.2实施方案
目前已经有十几个网站使用了CPOS业务。很好的解决了其他运营商访问这些网站存在的跨网问题。目前已经有近40万个宽带用户使用了CPIS业务。每日接收用户的请求为300万次，日最大带宽为3.1G。
3.应用效果
（1）加速热点网站近千个；覆盖省内约40多万宽带用户，平均访问速度提高2-3倍，峰值流量达到3.1Gbps；异网接入网民访问门户网站、家长网校、公司OA平均提速3-4倍；http下载/视频、P2P下载（含迅雷）/视频的速度提高3-10倍。
（2）有利于在提升用户上网速度的基础上，同时降低网间结算费用，自2008年底开始陆续部署流控、专用缓存、通用缓存、第三方出口及IDC内容资源引入后，2009年3月起出口入流量开始稳定在一个较合理的水平，分摊费用较年初大大降低。
（3）目前已有较成熟的产品与方案，形成了一套综合管控体系推广。
（4）也可以将已经构建的互联网体系作为基础，通过进一步提升能力，提供服务，满足附近的互联网请求，具体手段可以通过智能DNS及CMNET网络互连实现。
【关键词】多手段协同；互联网流量；综合管控体系
1.多手段协同的互联网流量综合管控体系构建
通过流量分析与监控、内容加速系统、第三方出口和内容源直接引入等多种手段，用户上网速度得到迅速提升，有效改善了移动宽带的业务形象，有利于进一步推动宽带业务的大发展。
1.1流量分析与控制
在未对出口流量进行分析与控制之前，出口P2P流量占比达70%，08年底流量监控平台上线，对省网40G出口流量进行分析和控制，目前将峰值P2P流量压缩了15%。
通过流控与缓存的配合，达到既降低出口流量减少结算又不降低甚至提升用户使用感知的目的。
1.2内容加速系统
通过构建内容加速系统，改变传统网站重镜像模式，在网内客户访问过程中进行解析转换，在接到服务请求后通过主动的内容请求和缓存实现加速服务。利用其CDN平台对近千个门户类网站内容加速，覆盖省内约40多万宽带用户，平均访问速度提高2-3倍，峰值流量达到3.1Gbps。
1.3第三方出口
通过第三方出口，将CDN的回源及部分高价值业务进行专门疏导，通过缓存与第三方出口的配合，有效规避竞争对手的监测与封堵，充分发挥第三方出口的网络优势，提升缓存的效果。
1.4内容引入
通过流量分析与监控，深入分析现网用户行为，筛选出TOP100，成立专门团队，完成了66家核心内容引入，并与最大的独立IDC世纪互联合作，近期批量引入其网内近3000家网站，可有效提升网站访问量，提高用户满意度。
2.主要创新点
2.1流控与缓存协同互动，综合管控出口流量
2.1.1技术原理
流量控制主要通过旁路分光方式对所有出口流量进行监控分析，对于不同协议（http、P2P等）的流量进行不同处理，一般可通过发送干扰包方式进行带宽控制。
流量控制可有效降低出口流量，减少结算费用，但对用户使用感知影响较大，缓存主要通过对流量的分析、识别，对不同协议的流量根据用户访问的频度对内容资源进行缓存，减少相同内容多次出网访问，同时可明显提升用户感知。
通过两者的协同互动，可在有效控制出口流量的同时提升用户的使用感知。
2.1.2实施方案
通过流量监控平台（华为SIG）将出口P2P峰值流量压缩15%。
P2P流控策略主要对P2P下载类应用进行实施，暂不对P2P视频类业务进行部署，避免引起批量投诉。
流控对用户使用感知的影响通过缓存平台进行弥补。
迅雷专用缓存主要针对迅雷下载应用，由迅雷公司进行全国性统一调度，一般命中率在40%左右。
通用型缓存主要针对主流的迅雷下载、BT、电驴等应用（三类应用占P2P下载类流量的90%以上），根据用户访问频度设定缓存策略，命中率较高，一般超过80%。
2.2基于用户行为深度分析的内容资源联动更新
通过对缓存平台数据的深度分析，可有效了解目前用户下载、视频的热点，根据此热点数据，将其提交给本地下载类、影视类资源网站，作为其进行内容更新的重要参考数据。
这种联动因为是以现网用户的实际行为为基础的，因此可有效激活本地资源类网站的访问量，同时也可显著减少用户的实际下载量，减轻缓存平台的压力。
2.3缓存环境下内网P2P用户模式的重组还原
P2P应用与网络无关，易造成运营商出口拥塞，其完全为离散的分布式架构，流量难以管理。
通用型缓存通过截获P2P用户请求，将其引导到缓存，相当于将应用模式从分布式转换成了C/S模式。
这样的转化可有效降低出口流量，控制网内用户的流量，但也会给缓存带来较大的压力，随着用户的增长，缓存的负载会逐步加大，会逐渐成为瓶颈。
通过缓存平台优先返回本区域peer用户地址，引导用户之间自行的数据交换，一方面可控制出网的流量，同时可在本区域内还原P2P技术的優势，提升用户感知，减轻缓存平台压力。
2.4 Web网站资源缓存模糊匹配
目前大型网站为了支撑大规模用户的访问，一般资源存储采用全分布式架构，硬件上会进行分组，在每个组内再进行负载均衡。
这样的架构对于缓存来说存在一定的难度，因为相同的内容用户每次访问的绝对地址是随机变化的，如果根据地址进行缓存内容匹配的话，命中率相当低。
为有效解决该问题，将目前缓存内容匹配升级成模糊匹配，重点按文件名进行匹配而忽略前面的随机地址，这种方式将显著提高命中率，从而可有效提高视频类网站的访问质量和感知。
2.5基于第三方出口的缓存加速及中转代理
目前解决互联互通瓶颈最有效的方式是租用第三方出口，进行本地化疏通。但容易遭受竞争对手的封堵，质量无法保障。
将第三方出口配合缓存使用是一种全新的应用模式，一方面其可以有效规避对方的监测，同时可充分发挥第三方出口的网络优势。
由于缓存采用优质的第三方出口，而普通用户还是通过互联互通出口进行数据访问，因此在访问缓存没有命中的文件时，缓存下载的速度将优于用户下载速度，缓存可边下载边向用户吐出已下载的数据流量，以达到降低出口流量、加速用户下载的目的。
除此之外，采用代理中转（不缓存）方式对于提高视频类应用的使用感知也有明显的效果。
2.6基于智能DNS解析的网间双向互访CDN加速
2.6.1技术原理
目前解决www网站访问速度问题的最有效方式即是采用CDN技术进行访问加速，在传统的CDN网站加速的前提下，我公司发了CPOS业务、CPIS业务。CPOS业务主要是将移动的互联网业务推到其他运营商，同时可以降低自身访问压力，减少维护成本；CPIS业务主要面向宽带用户，将互联网上的内容缓存到移动网内，提高用户的访问速度，进而提升移动宽带产品的竞争力。
2.6.2实施方案
目前已经有十几个网站使用了CPOS业务。很好的解决了其他运营商访问这些网站存在的跨网问题。目前已经有近40万个宽带用户使用了CPIS业务。每日接收用户的请求为300万次，日最大带宽为3.1G。
3.应用效果
（1）加速热点网站近千个；覆盖省内约40多万宽带用户，平均访问速度提高2-3倍，峰值流量达到3.1Gbps；异网接入网民访问门户网站、家长网校、公司OA平均提速3-4倍；http下载/视频、P2P下载（含迅雷）/视频的速度提高3-10倍。
（2）有利于在提升用户上网速度的基础上，同时降低网间结算费用，自2008年底开始陆续部署流控、专用缓存、通用缓存、第三方出口及IDC内容资源引入后，2009年3月起出口入流量开始稳定在一个较合理的水平，分摊费用较年初大大降低。
（3）目前已有较成熟的产品与方案，形成了一套综合管控体系推广。
（4）也可以将已经构建的互联网体系作为基础，通过进一步提升能力，提供服务，满足附近的互联网请求，具体手段可以通过智能DNS及CMNET网络互连实现。