大规模分布式全局内容存储平台研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:rowhwafo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网应用的内容存取模式已从单数据中心的分布式存储形式向跨数据中心的全局、大规模海量的分布式存取形式发展。传统的分布式存储文件和数据库系统的学术思想和设计原理在新环境下实现这一需求遇到了特定数据流优化、抽象定义基础服务的应用接口和满足大规模扩展设计等困难。博士论文研究具有全局寻址能力相关机理、存储节点失效下内容存储系统的可靠性方法和为应用提供优化的内容存取路径等理论问题,并提出和设计大规模分布式全局内容存储平台的覆盖网体系结构、内容路由算法和海量数据索引机制。   在平台体系结架构方面,本文研究了一种协调工作的分布式全局内容存储模型,它拥有全局内容索引机制、高效的数据分发机制和经济的存储方式。为保障系统可靠运行,设计了无单点失效的扩展性、数据最终一致性保障、数据完整性保障、垃圾回收和错误检测处理机制。新架构满足现代分布式系统的CAP特性,并重点优化了系统的可用性和分布容错性,支持热点内容路由优化和海量数据全局检索,设计的API使得架构对外部应用透明。   针对热点内容高效存取,本文提出了一种热点内容小世界路由算法。算法综合考虑内容流行度、节点对应的用户群兴趣两个参数,构建符合小世界理论的热点内容路由表,并根据内容与节点热度关联实现副本缓存。理论分析表明该算法比简单内容路由可以减少跨区域网络流量近80%,从而大幅度缩小了大规模应用的响应延时,优化了系统负载均衡性,提高了系统的并发性能。   为了解决全局大规模内容存储平台的快速检索数据问题,本文还分析了传统数据检索过程,比较了基于普通哈希表的随机查找方法和传统顺序查找方法,提出了应用Bloom Filter技术构建高效存储索引的方法。该方法横向扩展能力强,检索性能与数据规模无关,单节点检索性能高。实验表明从1亿条记录中检索1条记录的时间性能在毫秒级并且与独立于数据规模。   在平台的实际应用方面,文章利用全局内容存储平台的设计思想和关键技术实现了中国科学院大学空中课堂视频云应用框架。该框架在支持资源托管、视频点播、虚拟站点应用中具有明显的效果,减少了网络带宽消耗、提高了并发度、优化了负载均衡、降低了响应延时、实现了快速分布式全局检索并支持对外透明服务。我们还针对高效生产视频内容方面进行了优化,缩短了5/7制作时间,减少了3/4视频文件大小,从而提升了用户体验。
其他文献
随着开源软件项目逐渐成为可复用软件构件的主要来源,如何快速的学习一个软件项目成为基于复用的软件开发活动中的一个重要环节。然而,目前软件项目的源代码和文档集往往数量比
真实感图形绘制一直是计算机图形学重要且基础的研究内容,广泛应用在电影、游戏、模拟仿真等领域。由于人们对真实感绘制的要求越来越高,使得场景几何越来越复杂,绘制效果越来越
无线传感器网络的发展直接带来了针对无线传感器网络的数据、服务等资源的整合、管理需求。SWE是基于OGC组织的web服务框架及信息模型提出的针对无线传感器网络资源的框架,通
探空火箭是进行近地空间环境探测、资源开发和科学试验的有效工具,可以为发展新仪器、新试验、新观测技术以及探索新的领域提供经济且有效的手段。经过近70年的发展,火箭探空技
随着企业管理信息化程度的进一步加深,企业对于信息化的要求也越来越高,资源是企业重要的资产,企业对于资源的管理要求也非常高,在管理范围、管理质量和管理系统建设规范性上
为了增强卫星在轨试验运行的可靠性,需要建立联合仿真模型对卫星状态进行综合仿真,研究控制异常时的有效对策。有效载荷数据多路复接器是卫星在轨试验数据传输系统的重要组成部
在过去近20年的时间里,集群和网格系统被广泛应用于高能物理数据处理。传统的以数据与计算分离的集群结构需要将大量的数据通过网络传输到计算节点进行处理分析,导致I/O成为系
在现代网络中存在着大量不同的应用程序,这些应用程序产生不同类型的流量,它们对于QoS的要求是不一样的。和传统的流量分类方法相比,使用机器学习技术来进行流量分类由于不依赖
短短几年间,包括微博在内的社会化媒体得到了长足的发展,所拥有的用户数量和参与率不断刷新记录,在社会生活中的地位和作用也越来越重要。其不但创造了一种新的沟通形式,更逐渐打
电力系统是一种典型的信息物理系统,其动力学具有混成性、非线性、高维度、包含控制变量等特点。安全性是电力系统运行中的一项重要指标。为了保证电力系统安全稳定运行,动态安