论文部分内容阅读
互联网存在的最基础意义就是内容分发,即将数字内容从一个节点分发到另一个或多个节点。从2006年亚马逊公司推出“弹性计算云”和2007年苹果公司推出“iPhone”开始,互联网内容分发呈现非常明显的两极分化趋势:一方面,世界各地投入巨资兴建重量级、集成化的数据中心(简称“重云”),以追求内容分发的规模效应和成本优势;另一方面,用户终端日益轻量化、移动化(简称“轻端”),且在软硬件及网络配置上高度异构,从而对内容分发的流量、能耗、速率、时延等提出严苛要求。针对上述“重云轻端”趋势,本文研究基于云计算的异构自适应内容分发,设计与具体应用场景相适应的更为节流、节能、高速、经济的内容分发技术。在科研方法论上特别注重实用性:从实际系统中发现问题、在实际环境中解决问题、并进行适度的提升与展开。研究工作立足于Dropbox(全球最大的云存储系统)、QQ旋风(腾讯公司主要的内容分发平台)、AmazingStore(教育网文件分享系统)和CoolFish(中科院视频点播系统)等系统平台。具体来说,本文的主要创新成果包括: (1)云存储中的内容分发:针对云存储内容分发中普遍存在的“同步流量滥用问题”,从网络协议、操作系统两个层面解析其发生机制,提出和实现“高效批同步算法”解决该问题、节省同步流量,并通过(兼容性地)修改Linux内核从源头上根治这一问题。 (2)云辅助的内容分发:通过对QQ旋风和迅雷的系统性研究,提炼出“云跟踪”加速内容分发的基础模型,并设计了最大化“带宽放大效应”的“云调度”算法以高效利用云带宽,该算法在CoolFish系统进行了原型部署。 (3)完全依赖云的内容分发:鉴于移动用户对视频内容分发的特殊需求、尤其是节能与节流,测量和分析了大规模工业“云下载”及“云转码”系统,诊断系统性能瓶颈,提出缓存、预测和推荐等一系列优化方案。 (4)用户构造云的内容分发:从经济的角度,可以将高动态性和高异构性的互联网用户组织起来、构造稳定可靠的虚拟云。我们为此类构造方案设计了“稳定性最优的端用户分组策略”和“流媒体数据源最快切换策略”。