论文部分内容阅读
【摘要】近年来，随着IPTV、直播等大流量互联网业务的兴起，CDN业务随之呈现飞速的发展。CDN的出现，把流量推到网络的边缘，缓解主干网络的拥堵。当前各运营商和互联网CDN运营商的主要部署节点是在IDC机房，在运营商看来，IDC到最终用户还隔着CMNet/CNNet，核心网与传送网。随着各种业务的普及，给核心网带宽压力越来越大。将CDN节点下沉到边缘，对缓解核心网的网络压力，降低网络时延有着巨大的作用。本文对CDN边缘节点下沉的可行型及方案进行了分析。
【关键词】CDN；P2P CDN；CACHE
【Abstract】In recent years， with the IPTV， live and other large flow of Internet business， CDN business followed by rapid development. The emergence of CDN， the traffic pushed to the edge of the network， to ease the backbone of the network congestion. The current deployment of the operator and the Internet CDN operators is the main deployment node in the IDC room， in the operator's view， IDC to the end user is also separated by CMNet / CNNet， the core network and transport network. With the popularity of various business， to the core network bandwidth pressure is growing. The CDN node sink to the edge， to ease the core network of network pressure， reduce the network delay has a huge role. In this paper， the feasibility and scheme of the subsidence of CDN edge nodes are analyzed.
【Key words】CDN；P2P CDN；CACHE
1. 前言
（1）随着互联网视频的高清趋势，以及运营商的接入带宽提速，网络视频用户迅速增长，截至2016年12月，中国网络视频用户规模已达5.45亿，较2015年底增加4064万人；网络视频用户使用率为74.5%，较2015年底提升了1.3个百分点。目前手机已成为收看网络视频节目的最主要设备，有近95%的网络视频用户选择用手机看视频。另据相关统计结果显示，截至2016年底，手机视频用户规模已接近5亿，增长率达23.4%；手机网络视频使用率为71.9%，相比2015年底增长6.5个百分点。。
（2）基于P2P的应用异军突起，P2P应用涉及的领域越来越广，已从单一的大文件下载转变为更多的新型多媒体应用，如P2P高清点播、直播和P2P语音通信等，越来越多的互联网用户选择在线观看新闻、电影、直播等原本在电视或本地计算机上观看的媒体资源。
（3）目前CP（内容提供商）流量调度策略與运营商流量调度策略不一致，导致了大量跨省/跨网流量，增加了运营商的骨干压力，盲目的限制、控制、拦截又会带来大量的用户投诉，因此合理调度这些流量，成为运营商需要解决的一个课题。
2. 传统的P2P应对策略
为了解决P2P流量产生的影响，运营商和CP（内容服务提供商）一般采用如下方法进行应对：
（1）限制：通过对流量的深度识别，然后对相关P2P流量进行限制。
（2）流量本地化：由于P2P内容具有很高的重复性，运营商可以通过在网络中部署P2P Cache（缓存）服务器来本地化P2P流量。
（3）传输优化：P2P应用常常采用基于逆向工程的技术来感知网络状况。如估算P2P节点或主机的邻近性以及它们之间的传输时延或带宽，以提高P2P内容传输的效率。
3. 建议应对策略：P2P+CDN
P2P+CDN架构是基于CDN的，在骨干层面上保留了原有的CDN系统架构和功能，在边缘节点采用P2P技术进行媒体文件共享及分发。P2P+CDN的网络架构采用3层结构，分为中心层、边缘层和P2P自治域层。
从中心层到边缘层和传统的CDN组织架构一样，由一个中心节点管理控制多个边缘节点，并对边缘节点分发节目。在边缘层以下的P2P自治域层是P2P+CDN架构的主要特点。为了便于P2P的管理，将系统服务的网络分成若干个区域，称之为P2P自治域，用户的数据交换仅限于在其所在的P2P自治域内，尽量避免跨域间的P2P交换，由此将用户的数据流控制在一个域内，减轻网络负载。
P2P+CDN流量优化系统应具备三个主要功能，感知、调度、CACHE。
3.1 感知。
（1）感知通过分光或镜像的方式，采集业务流量，完成流量和设备实时监控数据的采集、处理和分析，与调度系统联动，实现P2P流量优化调度。
（2）感知是P2P+CDN系统的核心组成部分，在网络出口监听报文，过滤出需关注的报文做相应处理。目前常用的P2P应用识别检测技术有：常用端口检测法、动态流行为检测法DFI（Dynamic Flow Inspection）、深度包检查法DPI（Deep Packet Inspection）。感知系统过滤P2P客户端发到外网Track Server的报文，将其重定向到调度子系统上，调度子系统为其提供的Peerlist中的Peer指向Cache子系统，调度子系统通知Cache子系统管理此文件。客户端连接Cache子系统，由Cache子系统为其提供P2P服务。 （3）感知还需对业务进行管理，包括实现P2P接入业务开通和管理，业务开通状态的CP才能和P2P系统进行有效交互。一个运营商内部所有的客户端每天发出的P2P业务请求是一个庞大的数字，感知系统如果重定向所有的请求，则调度子系统的负荷会很重，因此，需要有针对性地重定定，如和AAA同步，重点关注VIP用户或开通此类业务的用户的流量，实施差异化服务。
3.2 调度。
调度子系统使得运营商能够进行P2P流量优化业务的核心控制、配置和管理；通过选择和配置针对P2P流量的网络资源优化策略，系统输出优化信息和数据到P2P服务商，使其可以优化自身的Peer选择过程，达到P2P流量优化的目的。
（1）调度策略模块是调度系统的核心，根据从管理模块获取的运营商网络信息，计算出P2P流量优化调度策略，并通过通信服务模块与P2P服务商对接，指导其流量调度策略。
（2）通信服务模块，该模块承担流量优化和配置计算信息传递给P2P服务商的通信服务功能，是用于对接P2P Tracker服务器和P2P客户端的通信接口设备。
（3）设备监测：通过设备监测模块获取数据，对优化计算模块、通信服务模块和内容分发模块的可用性、设备性能、网络指标进行实时监测，实时获得业务系统的资源使用情况和健康状态；
（4）配置管理：能够根据运营商的网络信息生成IP地址策略，能够获取网络拓扑文件并解析生成可视化图像，配合流量优化和配置计算模块实现基于域和拓扑的流量优化策略；能够根据文件内容、文件格式、文件大小和访问热点情况等定义内容缓存策略，由内容策略触发流量优化子系统的自动内容更新；
（5）资源管理：形成统一的内容目录数据库，承担关于内容的元数据的存储和索引。全局内容目录维护内容在各节点的分布情况。支持对系统内存储的资源文件进行浏览、排序、查询、查看、下载、删除等管理操作；
3.3 CACHE。
3.3.1 CACHE针对P2P服务进行流量补偿，通过部署P2P CACHE系统来实现对其下载热点内容资源进行本地缓存，提升下载速度和用户体验，同时需具备内容审计功能。
3.3.2 通过与P2P服务提供商（主要是主流的商用P2P服务）进行合作，通过P2P服务和本系统的对接，接收系统输出的优化信息和数据，优化其P2P流量。
3.3.3 CACHE包括两个功能模块：内容加速模块、资源收集模块。
（1）资源收集模块：是P2P服务提供商上传文件或用户使用P2P文件的存放点，CACHE子系统通过资源收集模块收集、上传媒体文件。
（2）内容加速模块：内容加速模块由系统根据内容对象的热度和访问状况对其网内内容进行分发。对于系统已经存储的资源，由调度系统调度用户访问本系统，系统响应网内用户的P2P请求，向用户提供全部或部分数据流量。通过重复利用数据流量实现访问加速与流量本地化的目标。同时由于系统同步保存了热点内容，可以有效降低因网络Peer数目不足或者缺乏部分文件分片而导致用户不能正常完成下载的比率。
3.3.4 内容加速模块具备以下功能：
（1）基于HTTP、HTTPS或其它特定協议接口的文件下载服务；
（2）支持迅雷、PPS、PPTV、旋风、QQLive、风行、Uusee、QVOD等国内主流P2P内容分发服务；
（3）具有负载均衡能力，多台设备之间的负载差不能超过20%；
（4）提供资源管理接口，可以根据文件infohash值查询、删除系统中的文件；
（5）提供客户端认证功能，只允许合作的P2P客户端可以访问；
（6）提供区域限制功能，只为规定区域内的用户提供分发下载服务；
（7）提供流量控制功能，能够控制到设备级别和应用级别所占用的网络带宽；
（8）提供日志功能，能够详细记录内容分发日志和内容访问日志。
3.4 P2P+CDN模式特点。
（1）P2P+CDN流量优化系统在具备长期流量优化领域服务ISP经验的基础上，并吸收国外先进技术和理念，才能被设计和开发出来，并在后期运营过程中不断优化和完善，到时系统将成为一套具备全网优化网内各类P2P流量的能力、支持智能管道增值业务开发和运营的系统，并最终达成双赢，同时也将极大的促进P2P产业链发展。
（2）系统建议部署在运营商省网或城域网的IDC机房，对P2P流量的优化服务可以覆盖全省的宽带和4G上网用户，大幅降低骨干网流入省网的P2P流量并提高宽带用户P2P视频和下载体验。
4. 结束语
（1）宽带互联网发展到今天，电信运营商的网络建设的指导方针已经从传统的面向基础设施建设转变为面向应用需求。原有的根据用户数/带宽为模型的网络建设已经不在适合今天网络建设的要求。现在网络建设模型是以应用/用户需求模型为主导。
（2）从以业务、流量为导向规模扩容网络容量，到根据应用、客户需求提供差异化服务为建设依据的转变是一个长期的过程，P2P+CDN模式是运营商实现转变的一个有效手段之一。
参考文献
[1] 仇德成，汪树勋，徐德启.《Cache技术在P2P中的应用》.
[2] 2012年中国电信集团.《中国电信CDN总体技术要求》.
[3] 陈辉，吕月梅，宋俊德.《P2P网络搜索新技术》.
[文章编号]1619-2737（2017）07-20-654
【关键词】CDN；P2P CDN；CACHE
【Abstract】In recent years， with the IPTV， live and other large flow of Internet business， CDN business followed by rapid development. The emergence of CDN， the traffic pushed to the edge of the network， to ease the backbone of the network congestion. The current deployment of the operator and the Internet CDN operators is the main deployment node in the IDC room， in the operator's view， IDC to the end user is also separated by CMNet / CNNet， the core network and transport network. With the popularity of various business， to the core network bandwidth pressure is growing. The CDN node sink to the edge， to ease the core network of network pressure， reduce the network delay has a huge role. In this paper， the feasibility and scheme of the subsidence of CDN edge nodes are analyzed.
【Key words】CDN；P2P CDN；CACHE
1. 前言
（1）随着互联网视频的高清趋势，以及运营商的接入带宽提速，网络视频用户迅速增长，截至2016年12月，中国网络视频用户规模已达5.45亿，较2015年底增加4064万人；网络视频用户使用率为74.5%，较2015年底提升了1.3个百分点。目前手机已成为收看网络视频节目的最主要设备，有近95%的网络视频用户选择用手机看视频。另据相关统计结果显示，截至2016年底，手机视频用户规模已接近5亿，增长率达23.4%；手机网络视频使用率为71.9%，相比2015年底增长6.5个百分点。。
（2）基于P2P的应用异军突起，P2P应用涉及的领域越来越广，已从单一的大文件下载转变为更多的新型多媒体应用，如P2P高清点播、直播和P2P语音通信等，越来越多的互联网用户选择在线观看新闻、电影、直播等原本在电视或本地计算机上观看的媒体资源。
（3）目前CP（内容提供商）流量调度策略與运营商流量调度策略不一致，导致了大量跨省/跨网流量，增加了运营商的骨干压力，盲目的限制、控制、拦截又会带来大量的用户投诉，因此合理调度这些流量，成为运营商需要解决的一个课题。
2. 传统的P2P应对策略
为了解决P2P流量产生的影响，运营商和CP（内容服务提供商）一般采用如下方法进行应对：
（1）限制：通过对流量的深度识别，然后对相关P2P流量进行限制。
（2）流量本地化：由于P2P内容具有很高的重复性，运营商可以通过在网络中部署P2P Cache（缓存）服务器来本地化P2P流量。
（3）传输优化：P2P应用常常采用基于逆向工程的技术来感知网络状况。如估算P2P节点或主机的邻近性以及它们之间的传输时延或带宽，以提高P2P内容传输的效率。
3. 建议应对策略：P2P+CDN
P2P+CDN架构是基于CDN的，在骨干层面上保留了原有的CDN系统架构和功能，在边缘节点采用P2P技术进行媒体文件共享及分发。P2P+CDN的网络架构采用3层结构，分为中心层、边缘层和P2P自治域层。
从中心层到边缘层和传统的CDN组织架构一样，由一个中心节点管理控制多个边缘节点，并对边缘节点分发节目。在边缘层以下的P2P自治域层是P2P+CDN架构的主要特点。为了便于P2P的管理，将系统服务的网络分成若干个区域，称之为P2P自治域，用户的数据交换仅限于在其所在的P2P自治域内，尽量避免跨域间的P2P交换，由此将用户的数据流控制在一个域内，减轻网络负载。
P2P+CDN流量优化系统应具备三个主要功能，感知、调度、CACHE。
3.1 感知。
（1）感知通过分光或镜像的方式，采集业务流量，完成流量和设备实时监控数据的采集、处理和分析，与调度系统联动，实现P2P流量优化调度。
（2）感知是P2P+CDN系统的核心组成部分，在网络出口监听报文，过滤出需关注的报文做相应处理。目前常用的P2P应用识别检测技术有：常用端口检测法、动态流行为检测法DFI（Dynamic Flow Inspection）、深度包检查法DPI（Deep Packet Inspection）。感知系统过滤P2P客户端发到外网Track Server的报文，将其重定向到调度子系统上，调度子系统为其提供的Peerlist中的Peer指向Cache子系统，调度子系统通知Cache子系统管理此文件。客户端连接Cache子系统，由Cache子系统为其提供P2P服务。 （3）感知还需对业务进行管理，包括实现P2P接入业务开通和管理，业务开通状态的CP才能和P2P系统进行有效交互。一个运营商内部所有的客户端每天发出的P2P业务请求是一个庞大的数字，感知系统如果重定向所有的请求，则调度子系统的负荷会很重，因此，需要有针对性地重定定，如和AAA同步，重点关注VIP用户或开通此类业务的用户的流量，实施差异化服务。
3.2 调度。
调度子系统使得运营商能够进行P2P流量优化业务的核心控制、配置和管理；通过选择和配置针对P2P流量的网络资源优化策略，系统输出优化信息和数据到P2P服务商，使其可以优化自身的Peer选择过程，达到P2P流量优化的目的。
（1）调度策略模块是调度系统的核心，根据从管理模块获取的运营商网络信息，计算出P2P流量优化调度策略，并通过通信服务模块与P2P服务商对接，指导其流量调度策略。
（2）通信服务模块，该模块承担流量优化和配置计算信息传递给P2P服务商的通信服务功能，是用于对接P2P Tracker服务器和P2P客户端的通信接口设备。
（3）设备监测：通过设备监测模块获取数据，对优化计算模块、通信服务模块和内容分发模块的可用性、设备性能、网络指标进行实时监测，实时获得业务系统的资源使用情况和健康状态；
（4）配置管理：能够根据运营商的网络信息生成IP地址策略，能够获取网络拓扑文件并解析生成可视化图像，配合流量优化和配置计算模块实现基于域和拓扑的流量优化策略；能够根据文件内容、文件格式、文件大小和访问热点情况等定义内容缓存策略，由内容策略触发流量优化子系统的自动内容更新；
（5）资源管理：形成统一的内容目录数据库，承担关于内容的元数据的存储和索引。全局内容目录维护内容在各节点的分布情况。支持对系统内存储的资源文件进行浏览、排序、查询、查看、下载、删除等管理操作；
3.3 CACHE。
3.3.1 CACHE针对P2P服务进行流量补偿，通过部署P2P CACHE系统来实现对其下载热点内容资源进行本地缓存，提升下载速度和用户体验，同时需具备内容审计功能。
3.3.2 通过与P2P服务提供商（主要是主流的商用P2P服务）进行合作，通过P2P服务和本系统的对接，接收系统输出的优化信息和数据，优化其P2P流量。
3.3.3 CACHE包括两个功能模块：内容加速模块、资源收集模块。
（1）资源收集模块：是P2P服务提供商上传文件或用户使用P2P文件的存放点，CACHE子系统通过资源收集模块收集、上传媒体文件。
（2）内容加速模块：内容加速模块由系统根据内容对象的热度和访问状况对其网内内容进行分发。对于系统已经存储的资源，由调度系统调度用户访问本系统，系统响应网内用户的P2P请求，向用户提供全部或部分数据流量。通过重复利用数据流量实现访问加速与流量本地化的目标。同时由于系统同步保存了热点内容，可以有效降低因网络Peer数目不足或者缺乏部分文件分片而导致用户不能正常完成下载的比率。
3.3.4 内容加速模块具备以下功能：
（1）基于HTTP、HTTPS或其它特定協议接口的文件下载服务；
（2）支持迅雷、PPS、PPTV、旋风、QQLive、风行、Uusee、QVOD等国内主流P2P内容分发服务；
（3）具有负载均衡能力，多台设备之间的负载差不能超过20%；
（4）提供资源管理接口，可以根据文件infohash值查询、删除系统中的文件；
（5）提供客户端认证功能，只允许合作的P2P客户端可以访问；
（6）提供区域限制功能，只为规定区域内的用户提供分发下载服务；
（7）提供流量控制功能，能够控制到设备级别和应用级别所占用的网络带宽；
（8）提供日志功能，能够详细记录内容分发日志和内容访问日志。
3.4 P2P+CDN模式特点。
（1）P2P+CDN流量优化系统在具备长期流量优化领域服务ISP经验的基础上，并吸收国外先进技术和理念，才能被设计和开发出来，并在后期运营过程中不断优化和完善，到时系统将成为一套具备全网优化网内各类P2P流量的能力、支持智能管道增值业务开发和运营的系统，并最终达成双赢，同时也将极大的促进P2P产业链发展。
（2）系统建议部署在运营商省网或城域网的IDC机房，对P2P流量的优化服务可以覆盖全省的宽带和4G上网用户，大幅降低骨干网流入省网的P2P流量并提高宽带用户P2P视频和下载体验。
4. 结束语
（1）宽带互联网发展到今天，电信运营商的网络建设的指导方针已经从传统的面向基础设施建设转变为面向应用需求。原有的根据用户数/带宽为模型的网络建设已经不在适合今天网络建设的要求。现在网络建设模型是以应用/用户需求模型为主导。
（2）从以业务、流量为导向规模扩容网络容量，到根据应用、客户需求提供差异化服务为建设依据的转变是一个长期的过程，P2P+CDN模式是运营商实现转变的一个有效手段之一。
参考文献
[1] 仇德成，汪树勋，徐德启.《Cache技术在P2P中的应用》.
[2] 2012年中国电信集团.《中国电信CDN总体技术要求》.
[3] 陈辉，吕月梅，宋俊德.《P2P网络搜索新技术》.
[文章编号]1619-2737（2017）07-20-654