论文部分内容阅读
背景
2010年1月13日,国务院常务会议决定加快推进电信网、广播电视网和互联网的三网融合,并提出两大阶段性目标:2010~2012年,重点开展广电和电信业务双向进入试点;2013~2015年,全面实现三网融合,普及应用融合业务。同年7月,国务院发布三网融合试点名单,中国的三网融合进入实质性推进阶段。
三网融合为有线电视网络提供了新的发展机遇,也带来了空前的挑战。面临电信运营商IPTV的竞争压力、话音业务的低收益率以及互联网数据业务的发展制约,各地广电网络在提高自身技术、业务和运营能力的同时,需要打破传统的条块分割、各自为战的局面,找到有效的手段互相联合,走向合作发展的道路。重庆有线希望联合友好网签署各方,共同发起“广电网络资源互联及共享”倡议,为各地广电网络求索一条有效降低成本、发展宽带业务之路。
目前,电信运营商借助网络优势,已在积极开展IPTV及各类视频相关业务,快速进入有线电视网络的基础业务领域。为此,广电网络也迫切需要快速拓展数据和通信业务,尤其是互联网宽带接入业务。然而,广电网络长期条块分割,加之国家互联互通政策不明朗造成的管理混乱,使广电网络在发展三网融合业务时受到了严重制约。
1.被扼住喉咙的广电宽带业务
在三网融合的新形势下,与语音通信、广播电视业务等传统电信、广电业务相比,介于中间地带的互联网宽带业务已成为双方必争之地,有着举足轻重的地位。广电网络与中电信、中联通相比,无论是网络规模还是用户数量均差距悬殊,且电信与联通对国内互联网宽带出口资源拥有绝对垄断权(电信占62%,联通占33%,移动占3%)。由于网内互联网内容匮乏,及互联网出口资源严重受制于电信和联通等原因,广电宽带业务发展受到极大的阻碍。此外,由于要支付高昂的网间出口流量费用,各地广电网的宽带业务运营都艰难维持,很多地方甚至出现下滑趋势。
2.各地采取的宽带优化解决方案
为降低支付给电信、联通的网间出口流量费用,各地广电网积极采取了各种对策,主要的解决方案有三种:购买并扩容互联出口带宽;利用缓存技术节省出口带宽;白建IDC引进互联网内容资源。
购买并扩容出口宽带:通过向电信联通购买互联网出口带宽,或与其他竞争性运营商和第三方IDC进行互联互通,广电网络宽带用户通过出口链路直接到网外访问互联网资源。
方案优势:实施简单,易于维护,用户体验效果直接。
方案劣势:首先,本网宽带业务严重依赖外网出口资源,而在三网融合的竞争环境下,由于出口稳定性受到电信、联通的十扰,无法保证接通率,因此存在较高风险;其次,投入成本很高,同时这种刚性成本会随着用户基数的增加而不断提升;第三,互联网内容资源主要在电信联通的IDC和互联网用户中,其他竞争性运营商及第三方IDC只有少部分的互联网内容,与他们互联、互通对提高终端用户体验的效果有限。
此外,采用通过电信联通购买互联网出口带宽,或通过第三方IDC间接购得出口带宽方式时,由于广电网络宽带用户需要通过出口直接到网外访问互联网资源,因此,对于有线运营商来说,随着宽带业务量的不断增长,需要持续扩容出口带宽。
利用缓存节省出口带宽:即利用缓存系统,将热点内容主动或被动地缓存在网内,该方案可以在增加网内内容的同时减少互联出口带宽开销。
方案优势:缓存平台具有低成本、低风险、高回报的特点;同时,利用缓存技术,可以大大减少P2P、HTTP等下载和视频应用重复获取对出口流量的占用,减少出口下行带宽,并提升终端用户体验效果。
方案劣势:各地广电网络自建的缓存系统易形成“孤岛”。由于每个广电网络的规模较小,缓存的容量有限,只能对部分互联网内容进行本地缓存,由于大量非热门的长尾内容不能有效缓存,因此无法发挥缓存技术的最佳效果;此外,各地广电网络缓存获取的内容均通过各自购买的互联出口慢慢累积,消耗昂贵的出口资源,在一定程度上影响了用户体验。
自建IDC引进互联网内容资源:与已备案的ICP通过免费/付费的合作形式,将热门网站和热点内容引入到广电白建的中小型IDC中。
方案优势:可以解决终端用户对某些热门站点“静态”热点内容的请求。但该方案劣势也较为明显:首先,目前围内广电网络运营商互联网用户的规模均较小,缺乏对主流ICP的吸引力,同时广电IDC资源有限,无法承载大量的ICP引入;其次,无法解决动态交互内容访问的体验问题,如果主流ICP在广电内网进行站点的全镜像,在进行数据同步等操作时,依然会对出口带宽有很高的需求;第三,在实际操作中,由于价格问题、引入内容数量问题以及管理运营等问题,使这种合作模式无法得到有效的实施。
3.广电网络资源互联及共享的必要性和重要意
总结以上三种宽带优化方案,均存在一定的局限性。面对目前互联网技术和应用不断升级、宽带业务竞争更加激烈的局面,各地广电网络急需突破现有的宽带运营局面,寻找一种更为有效、可持续发展的宽带运营方案,以进一步降低对出口带宽依赖程度,显著提升宽带业务对主流电信运营商的竞争力。
“广电网络资源互联及共享”方案通过各地广电网络的互联互通,可以有效聚合各地分散的内容资源和用户资源,实现各地网内资源的共享,形成更大规模的虚拟网络,明显增强各地广电网络的宽带运营能力和抗风险能力,从而突破竞争资源制约,重塑广电网络在三网融合格局中的角色定位。
资源互联及共享组网方案
该方案具体思路为:在各地已经建设的IDC基础设施和已经部署的智能缓存系统基础上,通过灵活的组网方式,实现各地广电网络的IDC和缓存系统之间的互联互通及内容资源共享,在大幅提升各地的互联网内容聚合规模及联网成员间互联流量的基础上,降低对电信联通出口资源依赖程度。
1.组网原则
广电网络资源互联及共享组网应遵循以下基本原则:
规范性。设计方案应遵从相关的网络规范,包括广域网建设规范、IP地址规范、数据中心建设规范等,以保证广域网建设与其他系统建设的一致性。
标准性。即技术标准化,使用开放、标准的主流技术及协议,以确保网络的开放互连和升级扩展。
安全性。集成安全手段,网络架构需要具有支持整套安全体系实施的能力,以确保总体系统安全。
扩展性。可伸缩的网络架构,网络架构在功能、容量、覆盖能力等各方面具有易扩展能力,以适应快速的业务发展对基础架构的要求。
易管理性。高效网络管理,网络架构采用分层模块化设计,同时配合整体网络/系统管理,优化网络/系统管理和支持维护。
2.组网方案
广电网络资源互联及共享组网架构见图1所示。
该方案主要包括以下几大组成部分:
广电运营商A、B、C、D。这类运营商应具有以下条件:具有相当规模覆盖的双向网络,并且已经拥有较大规模的宽带用户数量的运营商,笔者建议,可以将发达省市 和区域中心的省市作为候选;已建成一定规模的IDC机房,并引入一定数量的互联网内容和网站;已经部署智能缓存系统;地域位置重要,且与周边省市广电网络的互联资源丰富。
本地缓存集群。指已部署在各广电运营商内的缓存服务器集群。
ICP内容引入集群。指广电运营商已部署在本地IDC内的ICP服务器集群。
智能调度系统。负责缓存内容的全局调度以及本地ICP内容的调度。该系统由两个子系统组成,分别为缓存内容全局调度系统,及DNS全局调度系统。
3.网络架构说明
初期组网思路是利用广电已有互连链路,各运营商之间尽量完成全互联,两两之间通过直连链路直接交换流量,而通过智能调度系统,各运营商可以共享全网缓存内容及IDC引入内容。在实际操作中,如果两个运营商之间没有直连链路,为避免跨链路过网流量的产生,不允许直接交换流量。
该架构的优势在于前期投入成本较低,无需增加过多额外长途传输成本,能够很好地利用广电现有互连链路并提高链路利用率。因此,在广电网络资源互联及共享初期,重庆有线建议采用这种组网架构。
4.扩展方案
广电网络资源互联及共享拓展方案的的网络架构图如图2所示。
扩展方案描述:随着联网工作的进一步开展,当越来越多的广电运营商加入联网后,采用全互联的方式将会使各运营商承担过多的长途传输成本,并增加管理难度。因此,在扩展方案中,重庆有线建议以前期全互连运营商的网络为骨十网,后加入的广电运营商根据地理位置、内容需求、链路成本等因素进行有选择性的互联。
如图2所示,运营商E、G,可选择仅与运营商A两两之间形成全互连共享流量;运营商F可选择仅与运营商A互联共享流量;运营商H由于完全不具备本地缓存系统,因此可选择仅与运营商D互联,使用运营商D的缓存及IDC内容向本地终端用户提供服务。
广电智汇融通联网工作机制
1.云缓存系统工作机制
通过广电智汇融通联网平台可以实现各地已经部署的缓存系统之间的互联,而通过云缓存的技术机制,可聚合各地缓存系统中的内容形成虚拟的大型缓存池,以大幅增强联网成员间的互联网访问流量本地化的能力,降低各地对出口带宽的依赖。鉴于此,各地分节点应提供一定的冗余存储空间,用于存放本地的非热门内容,以便为其他节点提供服务。
(1)云缓存基本工作流程
在“孤岛”环境的缓存系统中,当终端用户请求的内容在本地缓存系统中不存在或不符合热点文件的定义时,缓存系统将不十预终端用户的行为,用户可直接通过出口向网外获取内容,而利用云缓存技术,本地缓存系统可以提供proxy机制,在用户访问云缓存池中的内容时,优先使用内网链路。
具体工作流程为:
终端用户请求报文被本地监听服务器截获;
本地监听服务器判断请求内容可被缓存,但本地缓存中没有缓存,则向本地智能调度系统发起查询;
本地智能调度服务器进行全局查询,在得到最优下载点后,与该节点智能调度服务器协商内网可达性(如果内网不可达,则调用本地缓存直接从外网下载,并返回给用户):
异地智能调度服务器向本地智能调度服务器返回相关信息(请求内容的确认、内容所在缓存服务器地址等);
本地智能调度服务器将通知本地监听服务器向终端用户发送重定向报文,并告知本地缓存服务器从异地缓存服务器获取数据;
本地监听服务器向终端用户发送重定向报文;
终端用户的请求被重定向至本地缓存服务器,请求所需数据;
本地缓存服务器从异地缓存服务器获取数据;
异地缓存服务器将数据返回给本地缓存服务器;
本地缓存服务器将数据返回给终端用户。
(2)热门文件“第一次”获取流程
联网完成后,当一份新的热点内容出现,在云缓存中从未被缓存时,且该内容被多地用户同时请求时,云缓存工作流程如图3、图4所示。
似没3个来自不同广电运营商用户A、B、c对同一内容的请求同时被各自木地监听服务器截获;
中央调度服务器根据监听服务器上报时间的差异,命令最先到达的本地缓存服务器开始下载内容,似设为本地缓存服务器B,同时命令服务器A、服务器c进入Time-Wait状态:
当本地服务器B从外网获取该文件第一字节后,小地服务器A及本地服务器c会从本地服务器B拉取数据;
各服务器分别将数据传输给终端用户。缓存系统会牺牲各地第一个对该内窬发起请求用户的体验效果,从而达到数据内网获取,内容本地缓存、节省出口流量的日的。
(3)云缓存热点定义机制
在云缓存中,定义热点内容的机制将被改变,有直连链路运营商之间的智能调度服务器将建立邻居关系,当两个以上的邻居监听到同一个请求时,该内容将被定位为热点内容,采用“第一次”获取流程,最先请求的节点从外网获取数据,其他节点从该节点通过内网获取数据。通过这种新的机制,能够进一步提高缓存系统的性能,热点定义更加准确,节省更多的m口流量。
2.虚拟IDC系统工作机制
(1)虚拟IDG系统工作机制
广电智汇融通联网平台可以实现各地IDC间的互联,使得各地分散的IDC资源汇聚成一个虚拟IDC云平台,在各方都遵循的内容管理调度机制下,实现IDC内容资源的一点引入、全网共享,大幅增强大联网成员的内容引入能力,提高内容资源的效率,进一步降低各成员对出口的依赖,提高用户体验。虚拟IDC架构及工作机制如图5、图6所示。
虚拟IDC T作机制如下:
运营商B存LDNS进行配置,将www.a.com的解析权Forward给运营商A的Smart DNS;
当用户B(属于运营商B)向LDNS发起请求,请求www.a.com的A记录;
LDNS将请求Forward给运营商A的Smart DNS;
smart DNS根据各应用服务器返回的健康探测结果来更新配置信息,当www.a.com的应用服务器可用时,将它的IP地址作为A记录返回给运营商B的LDNS(当探测www.a.com不可用时,则通知B运营商LDNS Forward失效,进行递归查询);
运营商B的LDNS将A记录返回给用户B;
用户B向运营商A的www.a.com的应用服务器发起请求,获取内容;
www.a.eom将内容返回给用户B。
对于运营商B来说,使用广电异地IDC的内容,仅需对LDNS进行Forward修改即可。做ForwaM的优势在于,运营商B无需知道运营商A网内的任何配置信息以及修改过程,仅需将所需域名的解析权交给运营商A的Smar!DNS来完成。
而对于运营商A来说,无需进行任何的DNS配置修改,仅在网内部署Smart DNS系统并使它可以获取应用服务器的健康探测信息。如果运营商A希望减少本地用户DNS Lookup时间,也可以将所需域名ForwaM给SmartDNS系统。 (2)扩展虚拟IDC
扩展虚拟IDC即通过引入“边缘节点”的概念,将CDN技术引入整个联网环境。边缘节点部署在每一个运营商内,“边缘”的概念是相对的,对于运营商A引入的内容,其他运营商部署的服务器可以被看作它们的边缘节点。引入“边缘节点后”,某些广电运营商没有和内容所在运营商的直连链路,如广电运营商E,可以通过广电运营商D的边缘节点来获取Www.a.C01YI的内容。其架构如图7所示。
(3)扩展IDG工作机制(如图8所示)
扩展IDC工作机制具体工作流程如下:
运营商B在LDNS进行配置,将www.a.com的解析权Forward给运营商A的smart DNS;
用户B(属于运营商B)向LDNS发起请求,请求www.a.com的A记录;
LDNS将请求Forward给运营商A的Smart DNS;
Smart DNS根据各应用服务器以及边缘节点返回的健康探测结果来更新配置信息,并按照运营商B所属区域,将网络运营商B的边缘节点IP地址作为A记录返回给运营商B的LDNS(当探测B的边缘节点不可用时,将www.a.com的地址返回):
用户B向本地边缘节点发起请求,获取内容;
www.a.com将内容返回给用户B。
3.运维保障机制
广电网络资源互联及共享成员之间的运维管理中心,负责互联节点间的流量统计和计费结算,同时负责线路运维的故障监控、工单派发、统筹协调等工作。建议运维管理中心委托第三方机构来维护,以提供中立、准确的数据报表及相应结算服务。
4.结算机制
各地广电网络本着对等互联、流量对冲的原则进行相关的费用结算。其中互联双方之间的长途传输链路结算方式为双方按照各自贡献流量的反比例承担长途链路成本,本地传输段由各自负责。比如A、B节点间的贡献流量比例为6:4,则A节点承担40%的长途传输链路成本,B节点承担60%。互联双方的流量结算方式为双方按照各自贡献的流量进行对冲,多余的流量由贡献少的~方支付流量费给另一方,流量费J=H建议参考同行的IDC流量服务收费标准(如¥50/M月)。比如A、B节点间的贡献流量比例为6:4,则B节点应该给A节点支付20%流量的费用。
互联及共享效益分析
1.缓存重复度计算公式
缓存系统中的重复内容在孤岛环境中会各自占用与电信/联通互联互通出口进行下载,完成联网后,重复内容可由某一局点完成下载,其他局点通过内网从该局点获取所需内容,从而达到节省互联出口带宽的目的。
模型数据选取:选取已部署缓存系统的5个试验局A、B、c、D、E,共计有效数据(文件)80余万条,包含P2P及HTTP两种应用层协议数据。
重复度定义规则:根据文件Hash值作为内容唯一性的依据,当某个hash值在两个以上局点存在时,则认为缓存副本在这些局点发生重复。当某一份副本在n个局点发生重复时,认为可节省n—1份数据。
重复度模型计算公式:假设n个局的总数据量为m,2次重复数据为A1,3次重复数据为A2,以此类推,n次重复数据为A(n-1),则重复数据所占比例应为(Al×100%+A2×2*100%+?+A(n—1)×(n—1)×100%)/m。
实际模型计算结果:5个局点有效数据共805720条,其中仅在2个局点发生重复157188条,所占比例19.5%;仅在3个局点发生重复45742条,所占比例5.7%;仅在4个局点发生重复7938条,所占比例为1%。
通过公式可以推出在广电行业现有模型中,不同广电运营商所属用户访问行为的重复度比例应该在34%左右。
2.收益组成
(1)缓存系统服务器内容更新带宽节省费用
根据重复度的计算,联网后缓存系统存储134个文件,共有不重复的文件100个,有34个文件可以通过内网传输,那么对缓存服务器内容更新带宽可以节省(34/134)%,大概25%左右,除去需要承担的链路成本,与电信联通互联互通带宽价格为350元/兆,长途传输的带宽价格为150元/兆,在两两互联对冲流量的模型中,承担较重链路成本的一方不会超过60%也就是90元/兆。似设连网前更新带宽成本是x,联网后节省成本为x×25%,需要承担的成本为(25%×x/350)×90,那么这部分收益为25%×x-25%×90×x/350=18.75%×x。
(2)再生流量的价值
利川Proxy方式进行瓦联后,等同于每个缓存节点的存储容量都得到了增加,即从逻辑上完成了对每个节点缓存系统的“扩容”,对于单一局域性节点来说,缓存容量的增加将带来命中率的提升,即缓存系统能够为终端川户提供更多的内网流量。根据长尾理论,扩容的效果使某一个文件在N天后仍然能够由网内获取,但是获取的次数肯定会低于1~7天内的数值,一般来说,这部分比例大概在5:1左右。也就是说,通过缓存之间的互联,能够使各地缓存服务能力提高1/5。
(3)引入内容贡献流量
利川内网传输访问或传输引入内容,网内流量传输结算价格为50元/兆。对于引入者(自建IDC运营系统的核心骨干运营商),自身具备10万用户规模,联网前自建IDC运营系统能够向本地用户提供1000M的服务带宽的运营商来说,联网后,可立即增加用户基数20万,且引入者能够得到2000M网问流量结算收益。
对于访问者(未引入该内容的核心骨干或骨干运营商),联网后能够将这部分流量从互联互通口中节省,收益为350M/月-50M/月=300M/月。
3.收益结果
假设仅有A局提供IDC服务,共100M,各地运营商获得的收益见附表。
2010年1月13日,国务院常务会议决定加快推进电信网、广播电视网和互联网的三网融合,并提出两大阶段性目标:2010~2012年,重点开展广电和电信业务双向进入试点;2013~2015年,全面实现三网融合,普及应用融合业务。同年7月,国务院发布三网融合试点名单,中国的三网融合进入实质性推进阶段。
三网融合为有线电视网络提供了新的发展机遇,也带来了空前的挑战。面临电信运营商IPTV的竞争压力、话音业务的低收益率以及互联网数据业务的发展制约,各地广电网络在提高自身技术、业务和运营能力的同时,需要打破传统的条块分割、各自为战的局面,找到有效的手段互相联合,走向合作发展的道路。重庆有线希望联合友好网签署各方,共同发起“广电网络资源互联及共享”倡议,为各地广电网络求索一条有效降低成本、发展宽带业务之路。
目前,电信运营商借助网络优势,已在积极开展IPTV及各类视频相关业务,快速进入有线电视网络的基础业务领域。为此,广电网络也迫切需要快速拓展数据和通信业务,尤其是互联网宽带接入业务。然而,广电网络长期条块分割,加之国家互联互通政策不明朗造成的管理混乱,使广电网络在发展三网融合业务时受到了严重制约。
1.被扼住喉咙的广电宽带业务
在三网融合的新形势下,与语音通信、广播电视业务等传统电信、广电业务相比,介于中间地带的互联网宽带业务已成为双方必争之地,有着举足轻重的地位。广电网络与中电信、中联通相比,无论是网络规模还是用户数量均差距悬殊,且电信与联通对国内互联网宽带出口资源拥有绝对垄断权(电信占62%,联通占33%,移动占3%)。由于网内互联网内容匮乏,及互联网出口资源严重受制于电信和联通等原因,广电宽带业务发展受到极大的阻碍。此外,由于要支付高昂的网间出口流量费用,各地广电网的宽带业务运营都艰难维持,很多地方甚至出现下滑趋势。
2.各地采取的宽带优化解决方案
为降低支付给电信、联通的网间出口流量费用,各地广电网积极采取了各种对策,主要的解决方案有三种:购买并扩容互联出口带宽;利用缓存技术节省出口带宽;白建IDC引进互联网内容资源。
购买并扩容出口宽带:通过向电信联通购买互联网出口带宽,或与其他竞争性运营商和第三方IDC进行互联互通,广电网络宽带用户通过出口链路直接到网外访问互联网资源。
方案优势:实施简单,易于维护,用户体验效果直接。
方案劣势:首先,本网宽带业务严重依赖外网出口资源,而在三网融合的竞争环境下,由于出口稳定性受到电信、联通的十扰,无法保证接通率,因此存在较高风险;其次,投入成本很高,同时这种刚性成本会随着用户基数的增加而不断提升;第三,互联网内容资源主要在电信联通的IDC和互联网用户中,其他竞争性运营商及第三方IDC只有少部分的互联网内容,与他们互联、互通对提高终端用户体验的效果有限。
此外,采用通过电信联通购买互联网出口带宽,或通过第三方IDC间接购得出口带宽方式时,由于广电网络宽带用户需要通过出口直接到网外访问互联网资源,因此,对于有线运营商来说,随着宽带业务量的不断增长,需要持续扩容出口带宽。
利用缓存节省出口带宽:即利用缓存系统,将热点内容主动或被动地缓存在网内,该方案可以在增加网内内容的同时减少互联出口带宽开销。
方案优势:缓存平台具有低成本、低风险、高回报的特点;同时,利用缓存技术,可以大大减少P2P、HTTP等下载和视频应用重复获取对出口流量的占用,减少出口下行带宽,并提升终端用户体验效果。
方案劣势:各地广电网络自建的缓存系统易形成“孤岛”。由于每个广电网络的规模较小,缓存的容量有限,只能对部分互联网内容进行本地缓存,由于大量非热门的长尾内容不能有效缓存,因此无法发挥缓存技术的最佳效果;此外,各地广电网络缓存获取的内容均通过各自购买的互联出口慢慢累积,消耗昂贵的出口资源,在一定程度上影响了用户体验。
自建IDC引进互联网内容资源:与已备案的ICP通过免费/付费的合作形式,将热门网站和热点内容引入到广电白建的中小型IDC中。
方案优势:可以解决终端用户对某些热门站点“静态”热点内容的请求。但该方案劣势也较为明显:首先,目前围内广电网络运营商互联网用户的规模均较小,缺乏对主流ICP的吸引力,同时广电IDC资源有限,无法承载大量的ICP引入;其次,无法解决动态交互内容访问的体验问题,如果主流ICP在广电内网进行站点的全镜像,在进行数据同步等操作时,依然会对出口带宽有很高的需求;第三,在实际操作中,由于价格问题、引入内容数量问题以及管理运营等问题,使这种合作模式无法得到有效的实施。
3.广电网络资源互联及共享的必要性和重要意
总结以上三种宽带优化方案,均存在一定的局限性。面对目前互联网技术和应用不断升级、宽带业务竞争更加激烈的局面,各地广电网络急需突破现有的宽带运营局面,寻找一种更为有效、可持续发展的宽带运营方案,以进一步降低对出口带宽依赖程度,显著提升宽带业务对主流电信运营商的竞争力。
“广电网络资源互联及共享”方案通过各地广电网络的互联互通,可以有效聚合各地分散的内容资源和用户资源,实现各地网内资源的共享,形成更大规模的虚拟网络,明显增强各地广电网络的宽带运营能力和抗风险能力,从而突破竞争资源制约,重塑广电网络在三网融合格局中的角色定位。
资源互联及共享组网方案
该方案具体思路为:在各地已经建设的IDC基础设施和已经部署的智能缓存系统基础上,通过灵活的组网方式,实现各地广电网络的IDC和缓存系统之间的互联互通及内容资源共享,在大幅提升各地的互联网内容聚合规模及联网成员间互联流量的基础上,降低对电信联通出口资源依赖程度。
1.组网原则
广电网络资源互联及共享组网应遵循以下基本原则:
规范性。设计方案应遵从相关的网络规范,包括广域网建设规范、IP地址规范、数据中心建设规范等,以保证广域网建设与其他系统建设的一致性。
标准性。即技术标准化,使用开放、标准的主流技术及协议,以确保网络的开放互连和升级扩展。
安全性。集成安全手段,网络架构需要具有支持整套安全体系实施的能力,以确保总体系统安全。
扩展性。可伸缩的网络架构,网络架构在功能、容量、覆盖能力等各方面具有易扩展能力,以适应快速的业务发展对基础架构的要求。
易管理性。高效网络管理,网络架构采用分层模块化设计,同时配合整体网络/系统管理,优化网络/系统管理和支持维护。
2.组网方案
广电网络资源互联及共享组网架构见图1所示。
该方案主要包括以下几大组成部分:
广电运营商A、B、C、D。这类运营商应具有以下条件:具有相当规模覆盖的双向网络,并且已经拥有较大规模的宽带用户数量的运营商,笔者建议,可以将发达省市 和区域中心的省市作为候选;已建成一定规模的IDC机房,并引入一定数量的互联网内容和网站;已经部署智能缓存系统;地域位置重要,且与周边省市广电网络的互联资源丰富。
本地缓存集群。指已部署在各广电运营商内的缓存服务器集群。
ICP内容引入集群。指广电运营商已部署在本地IDC内的ICP服务器集群。
智能调度系统。负责缓存内容的全局调度以及本地ICP内容的调度。该系统由两个子系统组成,分别为缓存内容全局调度系统,及DNS全局调度系统。
3.网络架构说明
初期组网思路是利用广电已有互连链路,各运营商之间尽量完成全互联,两两之间通过直连链路直接交换流量,而通过智能调度系统,各运营商可以共享全网缓存内容及IDC引入内容。在实际操作中,如果两个运营商之间没有直连链路,为避免跨链路过网流量的产生,不允许直接交换流量。
该架构的优势在于前期投入成本较低,无需增加过多额外长途传输成本,能够很好地利用广电现有互连链路并提高链路利用率。因此,在广电网络资源互联及共享初期,重庆有线建议采用这种组网架构。
4.扩展方案
广电网络资源互联及共享拓展方案的的网络架构图如图2所示。
扩展方案描述:随着联网工作的进一步开展,当越来越多的广电运营商加入联网后,采用全互联的方式将会使各运营商承担过多的长途传输成本,并增加管理难度。因此,在扩展方案中,重庆有线建议以前期全互连运营商的网络为骨十网,后加入的广电运营商根据地理位置、内容需求、链路成本等因素进行有选择性的互联。
如图2所示,运营商E、G,可选择仅与运营商A两两之间形成全互连共享流量;运营商F可选择仅与运营商A互联共享流量;运营商H由于完全不具备本地缓存系统,因此可选择仅与运营商D互联,使用运营商D的缓存及IDC内容向本地终端用户提供服务。
广电智汇融通联网工作机制
1.云缓存系统工作机制
通过广电智汇融通联网平台可以实现各地已经部署的缓存系统之间的互联,而通过云缓存的技术机制,可聚合各地缓存系统中的内容形成虚拟的大型缓存池,以大幅增强联网成员间的互联网访问流量本地化的能力,降低各地对出口带宽的依赖。鉴于此,各地分节点应提供一定的冗余存储空间,用于存放本地的非热门内容,以便为其他节点提供服务。
(1)云缓存基本工作流程
在“孤岛”环境的缓存系统中,当终端用户请求的内容在本地缓存系统中不存在或不符合热点文件的定义时,缓存系统将不十预终端用户的行为,用户可直接通过出口向网外获取内容,而利用云缓存技术,本地缓存系统可以提供proxy机制,在用户访问云缓存池中的内容时,优先使用内网链路。
具体工作流程为:
终端用户请求报文被本地监听服务器截获;
本地监听服务器判断请求内容可被缓存,但本地缓存中没有缓存,则向本地智能调度系统发起查询;
本地智能调度服务器进行全局查询,在得到最优下载点后,与该节点智能调度服务器协商内网可达性(如果内网不可达,则调用本地缓存直接从外网下载,并返回给用户):
异地智能调度服务器向本地智能调度服务器返回相关信息(请求内容的确认、内容所在缓存服务器地址等);
本地智能调度服务器将通知本地监听服务器向终端用户发送重定向报文,并告知本地缓存服务器从异地缓存服务器获取数据;
本地监听服务器向终端用户发送重定向报文;
终端用户的请求被重定向至本地缓存服务器,请求所需数据;
本地缓存服务器从异地缓存服务器获取数据;
异地缓存服务器将数据返回给本地缓存服务器;
本地缓存服务器将数据返回给终端用户。
(2)热门文件“第一次”获取流程
联网完成后,当一份新的热点内容出现,在云缓存中从未被缓存时,且该内容被多地用户同时请求时,云缓存工作流程如图3、图4所示。
似没3个来自不同广电运营商用户A、B、c对同一内容的请求同时被各自木地监听服务器截获;
中央调度服务器根据监听服务器上报时间的差异,命令最先到达的本地缓存服务器开始下载内容,似设为本地缓存服务器B,同时命令服务器A、服务器c进入Time-Wait状态:
当本地服务器B从外网获取该文件第一字节后,小地服务器A及本地服务器c会从本地服务器B拉取数据;
各服务器分别将数据传输给终端用户。缓存系统会牺牲各地第一个对该内窬发起请求用户的体验效果,从而达到数据内网获取,内容本地缓存、节省出口流量的日的。
(3)云缓存热点定义机制
在云缓存中,定义热点内容的机制将被改变,有直连链路运营商之间的智能调度服务器将建立邻居关系,当两个以上的邻居监听到同一个请求时,该内容将被定位为热点内容,采用“第一次”获取流程,最先请求的节点从外网获取数据,其他节点从该节点通过内网获取数据。通过这种新的机制,能够进一步提高缓存系统的性能,热点定义更加准确,节省更多的m口流量。
2.虚拟IDC系统工作机制
(1)虚拟IDG系统工作机制
广电智汇融通联网平台可以实现各地IDC间的互联,使得各地分散的IDC资源汇聚成一个虚拟IDC云平台,在各方都遵循的内容管理调度机制下,实现IDC内容资源的一点引入、全网共享,大幅增强大联网成员的内容引入能力,提高内容资源的效率,进一步降低各成员对出口的依赖,提高用户体验。虚拟IDC架构及工作机制如图5、图6所示。
虚拟IDC T作机制如下:
运营商B存LDNS进行配置,将www.a.com的解析权Forward给运营商A的Smart DNS;
当用户B(属于运营商B)向LDNS发起请求,请求www.a.com的A记录;
LDNS将请求Forward给运营商A的Smart DNS;
smart DNS根据各应用服务器返回的健康探测结果来更新配置信息,当www.a.com的应用服务器可用时,将它的IP地址作为A记录返回给运营商B的LDNS(当探测www.a.com不可用时,则通知B运营商LDNS Forward失效,进行递归查询);
运营商B的LDNS将A记录返回给用户B;
用户B向运营商A的www.a.com的应用服务器发起请求,获取内容;
www.a.eom将内容返回给用户B。
对于运营商B来说,使用广电异地IDC的内容,仅需对LDNS进行Forward修改即可。做ForwaM的优势在于,运营商B无需知道运营商A网内的任何配置信息以及修改过程,仅需将所需域名的解析权交给运营商A的Smar!DNS来完成。
而对于运营商A来说,无需进行任何的DNS配置修改,仅在网内部署Smart DNS系统并使它可以获取应用服务器的健康探测信息。如果运营商A希望减少本地用户DNS Lookup时间,也可以将所需域名ForwaM给SmartDNS系统。 (2)扩展虚拟IDC
扩展虚拟IDC即通过引入“边缘节点”的概念,将CDN技术引入整个联网环境。边缘节点部署在每一个运营商内,“边缘”的概念是相对的,对于运营商A引入的内容,其他运营商部署的服务器可以被看作它们的边缘节点。引入“边缘节点后”,某些广电运营商没有和内容所在运营商的直连链路,如广电运营商E,可以通过广电运营商D的边缘节点来获取Www.a.C01YI的内容。其架构如图7所示。
(3)扩展IDG工作机制(如图8所示)
扩展IDC工作机制具体工作流程如下:
运营商B在LDNS进行配置,将www.a.com的解析权Forward给运营商A的smart DNS;
用户B(属于运营商B)向LDNS发起请求,请求www.a.com的A记录;
LDNS将请求Forward给运营商A的Smart DNS;
Smart DNS根据各应用服务器以及边缘节点返回的健康探测结果来更新配置信息,并按照运营商B所属区域,将网络运营商B的边缘节点IP地址作为A记录返回给运营商B的LDNS(当探测B的边缘节点不可用时,将www.a.com的地址返回):
用户B向本地边缘节点发起请求,获取内容;
www.a.com将内容返回给用户B。
3.运维保障机制
广电网络资源互联及共享成员之间的运维管理中心,负责互联节点间的流量统计和计费结算,同时负责线路运维的故障监控、工单派发、统筹协调等工作。建议运维管理中心委托第三方机构来维护,以提供中立、准确的数据报表及相应结算服务。
4.结算机制
各地广电网络本着对等互联、流量对冲的原则进行相关的费用结算。其中互联双方之间的长途传输链路结算方式为双方按照各自贡献流量的反比例承担长途链路成本,本地传输段由各自负责。比如A、B节点间的贡献流量比例为6:4,则A节点承担40%的长途传输链路成本,B节点承担60%。互联双方的流量结算方式为双方按照各自贡献的流量进行对冲,多余的流量由贡献少的~方支付流量费给另一方,流量费J=H建议参考同行的IDC流量服务收费标准(如¥50/M月)。比如A、B节点间的贡献流量比例为6:4,则B节点应该给A节点支付20%流量的费用。
互联及共享效益分析
1.缓存重复度计算公式
缓存系统中的重复内容在孤岛环境中会各自占用与电信/联通互联互通出口进行下载,完成联网后,重复内容可由某一局点完成下载,其他局点通过内网从该局点获取所需内容,从而达到节省互联出口带宽的目的。
模型数据选取:选取已部署缓存系统的5个试验局A、B、c、D、E,共计有效数据(文件)80余万条,包含P2P及HTTP两种应用层协议数据。
重复度定义规则:根据文件Hash值作为内容唯一性的依据,当某个hash值在两个以上局点存在时,则认为缓存副本在这些局点发生重复。当某一份副本在n个局点发生重复时,认为可节省n—1份数据。
重复度模型计算公式:假设n个局的总数据量为m,2次重复数据为A1,3次重复数据为A2,以此类推,n次重复数据为A(n-1),则重复数据所占比例应为(Al×100%+A2×2*100%+?+A(n—1)×(n—1)×100%)/m。
实际模型计算结果:5个局点有效数据共805720条,其中仅在2个局点发生重复157188条,所占比例19.5%;仅在3个局点发生重复45742条,所占比例5.7%;仅在4个局点发生重复7938条,所占比例为1%。
通过公式可以推出在广电行业现有模型中,不同广电运营商所属用户访问行为的重复度比例应该在34%左右。
2.收益组成
(1)缓存系统服务器内容更新带宽节省费用
根据重复度的计算,联网后缓存系统存储134个文件,共有不重复的文件100个,有34个文件可以通过内网传输,那么对缓存服务器内容更新带宽可以节省(34/134)%,大概25%左右,除去需要承担的链路成本,与电信联通互联互通带宽价格为350元/兆,长途传输的带宽价格为150元/兆,在两两互联对冲流量的模型中,承担较重链路成本的一方不会超过60%也就是90元/兆。似设连网前更新带宽成本是x,联网后节省成本为x×25%,需要承担的成本为(25%×x/350)×90,那么这部分收益为25%×x-25%×90×x/350=18.75%×x。
(2)再生流量的价值
利川Proxy方式进行瓦联后,等同于每个缓存节点的存储容量都得到了增加,即从逻辑上完成了对每个节点缓存系统的“扩容”,对于单一局域性节点来说,缓存容量的增加将带来命中率的提升,即缓存系统能够为终端川户提供更多的内网流量。根据长尾理论,扩容的效果使某一个文件在N天后仍然能够由网内获取,但是获取的次数肯定会低于1~7天内的数值,一般来说,这部分比例大概在5:1左右。也就是说,通过缓存之间的互联,能够使各地缓存服务能力提高1/5。
(3)引入内容贡献流量
利川内网传输访问或传输引入内容,网内流量传输结算价格为50元/兆。对于引入者(自建IDC运营系统的核心骨干运营商),自身具备10万用户规模,联网前自建IDC运营系统能够向本地用户提供1000M的服务带宽的运营商来说,联网后,可立即增加用户基数20万,且引入者能够得到2000M网问流量结算收益。
对于访问者(未引入该内容的核心骨干或骨干运营商),联网后能够将这部分流量从互联互通口中节省,收益为350M/月-50M/月=300M/月。
3.收益结果
假设仅有A局提供IDC服务,共100M,各地运营商获得的收益见附表。