数据中心服务器和网络的联合优化研究

被引量 : 2次 | 上传用户:illyfei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为云计算的核心基础设施和下一代网络技术的创新平台,运行大规模分布式计算任务的数据中心在全世界范围内构建;其中以分布式文件系统(Hadoop Distributed File System, HDFS)和MapReduce (Google MapReduce的开源实现)为核心的开源分布式计算平台hadoop;凭借高可靠性、高扩展性、高效性、高容错性的优点在数据中心中得到广泛部署;对于数据中心网络,新型拓扑结构和各种带宽共享机制也使网络吞吐率得到很大改善。然而,计算资源优化与网络传输优化没有直接的相关性;因为,不同的优化策略产生不同的流量矩阵;不同流量矩阵对于网络负载影响不同,进而影响计算性能的程度也不同。另外,hadoop发展时间相对比较短,对多工作(jobs)情况下的数据分配和处理还不够完善。因此,基于计算端与网络端联合优化和SDN(Software Defined Network)思想,本文设计了可扩展性的VM任务放置与网络路由联合优化的方案。在此方案中,首先分析和介绍了HDFS文件系统的工作原理和MapReduce的计算流程;并且搭建Hadoop平台测试MapReduce计算性能和HDFS文件系统的数据存储方式;然后,根据测试中统计的信息和相关的文献资料总结出现的问题;接下来介绍数据中心网络拓扑Fat-Tree,应用于Fat-tree中的等价多路径(ECMP)协议和SDN的思想;紧接着,给出具体任务分配方案和基于Fat-tree网络拓扑的联合方案,确定出各种不同工作的HDFS划分文件和map/reduce任务的合理分配位置;根据Fat-tree拓扑结构的特点,在ECMP协议基础上设计新的带宽分配算法。最后,实验验证联合优化方案,结果表明,我们的方案在保证计算优化的基础上能够提高网络吞吐率,并且改善了不同工作数据流的网络传输。
其他文献
高分辨率无人机影像相对于卫星影像能提供更多的形状、纹理以及地表信息,在地形的三维重建方面有着独特的优势。中国西部很多区域位于高原地带,地形多以中、高山地为主,采用
简述了喷射反应器的反应原理、结构特征、工艺类型、独特性能及其国内外研究现状和进展;详细介绍了喷射反应器作为多相反应器,在加氢、烷氧基化、胺化、氯化/次氯化、氧化、
在企业集团规模化和全球化发展的今天,财务共享服务作为企业集团内部财务流程标准化和精细化管理的一种创新手段,受到了理论界和实业界的广泛关注。本文以我国已经实施财务共
在“让国家设施照料的孤残儿童重回社区或家庭的去机构化或去制度化”理念的冲击下,家庭寄养被公认为是最能满足寄养儿童情感需要的一种模式。在家庭寄养模式中,寄养家长是寄
物联网(The Internet of Things, IoT)是新一代信息技术的重要组成部分,物联网可以看作是物物相连的互联网,通过感知、识别技术,与普适计算等技术融合应用,形成了继计算机、
国网电力科学研究院(以下简称:国网电科院)成立于1973年,原名水利电力部自动化研究所,目前为国家电网公司直属的综合性科研单位。经过30多年的发展,现已形成研究开发、科技产
新型功能配位聚合物的设计和合成是当今配位化学、晶体工程学、超分子化学等领域的研究热点之一,这不仅因为它们具有新颖的拓扑结构,还因为它们在吸附分离、光、电、磁、分子
信息通信技术对人类社会演进产生深远影响,已经渗透到人类生活的物质基础中,像阳光、空气和水一样,成为我们生存条件和资源环境必不可少的一部分。现代社会相对传统的工业社
随着城市化的高速迅猛的发展、生态环境的急速恶化、愈演愈烈的生活压力使人们的心理压力和身体的疾病日益凸显。亚健康人群的数量急剧增多,人们迫切地需要一个有益于身心健
目前我国蔬菜已经超过粮食总产值,成为我国第一大农产品。蔬菜产业对促进农民增收,提高国民生活质量具有重要的战略意义。随着城乡居民生活水平的提高与现代农业的发展,蔬菜的小