基于Macroflow抽象优化数据中心MapReduce系统的网络流调度

来源 :南京大学 | 被引量 : 0次 | 上传用户:wilson_rui
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着计算机技术的快速发展,很多应用软件在使用中产生了海量数据。人们开始在数据中心部署诸如MapReduce的大数据并行计算系统来处理和分析这些数据,以此做科学决策。同时,Hadoop、Spark等基于MapReduce思想的并行计算系统的性能优化成为了研究热点。网络研究者优化MapReduce系统的作业完成时间采用的传统方法是基于流粒度的调度策略。后来,有的学者提出了基于Coflow抽象的调度策略,并证明了 Coflow抽象在满足特定条件时性能一定优于基于流粒度的调度。然而,我们发现过去研究者普遍过于重视系统的网络性能,忽略了主机槽位占用时间的对作业完成时间的影响,因此他们提出的调度策略无法得到更优的结果。本文提出的Macroflow抽象,能比较好的描述MapReduce系统中Reducer对主机槽位的占用情况。我们证明了最小化主机槽位占用时间和最小化Macroflow的平均完成时间等价,并且后者是一个NP困难问题。我们基于Macroflow抽象运用贪心思想提出了三种启发式调度策略,其中两种策略假定流大小能通过日志等渠道预先得知,另外一种策略能在流大小未知的场景使用。我们通过优先级离散化,使得三种策略只需要4至8个优先级就可以正常运行,符合商用网络设备支持的绝对优先级范围,因此三种策略可以部署到真实数据中心中。系统仿真和小规模实验床实验结果表明,基于Macroflow抽象的调度策略能同时大幅减少网络密集型和计算密集型MapReduce作业的完成时间。事实上,用户并不关心网络性能的细节,他们只关心作业能否尽快完成。本工作最重要的意义是,Macroflow抽象成为了填补应用程序和网络之间性能度量鸿沟的桥梁。
其他文献
为解决当前含油生活污水和养殖场粪便处理以及能源短缺等问题,本研究提出利用含油生活污水和养殖场牛粪进行厌氧发酵实验,探索生活污水中油类对厌氧发酵产气性能、酸碱度、原料降解、酶活性和微生物群落的影响,研究生活污水中油类厌氧发酵过程影响机制。主要研究结果如下:(1)外源添加油在污水和牛粪厌氧发酵中的产气呈低促高抑的现象。修正后的Gompertz方程能较好的拟合不同外源添加油量在生活污水和牛粪中的累积产气
唐代西域地方行政管理方式可区分为三种类型。西州方式,即实行与内地相一致的州县乡里制。唐制在西州推行的社会基础是留居高昌的旧官人、首望及为乡闾所服者。“旧官人”当主要指在高昌国时期任第五等级以下的中低级官吏;“首望”指乡闾之中的名望之家;“景行淳直,及为乡闾所服者”指百姓之中为人正直、处事公平,为乡民所钦服之人。唐王朝通过授勋、任职和授田等方式,维护旧官人、首望及为乡闾所服者的政治经济利益和社会地位
目的:观察柳茶对家族性高脂蛋白血症患者的血脂水平、动脉粥样硬化指数等指标改善情况,评价柳茶对家族性高脂蛋白血症患者治疗的有效性,探索一种有效、便于推广的治疗高脂蛋
目的结直肠癌(colorectal cancer,CRC)被认为是世界范围内与癌症相关的第三大死亡原因。CRC患者的治疗和5年生存率取决于肿瘤淋巴结的转移和病理分级。然而,尽管提高了肿瘤的早期筛查率及改进了CRC病理分级和分期,但是仍然不能有效预测CRC的发生发展及预后。一些研究表明微卫星不稳定性(microsatellite instability,MSI)及CRC中Ki-67、Topo IIα
本实践报告以翻译规范理论为支撑,全面说明在2017年6月于哈尔滨市举办的世界原居哈尔滨白俄罗斯人代表大会中的口译任务,并报告了笔者在该口译项目中所承担的工作情况。笔者
经济和科技的快速发展,带动了通信业务的急速增长,然而有限的频谱资源却大大的限制了通信业务的进一步发展。同时,频谱资源在使用上普遍存在分配不均,利用率低等缺点。在此背
目的:本研究采用DKI及~1H-MRS技术,对T2DM患者的脑微结构损害、代谢情况进行初步探究,探讨DKI、~1H-MRS参数值与患者基本临床指标、MoCA评分之间的相关性,以助探究T2DM患者认
目的:观察流体剪切力(Fluid Shear Stress,FSS)作用下,MC3T3-E1成骨细胞中细胞基质金属蛋白酶(Matrix metalloproteinases,MMPs)和基质金属蛋白酶抑制剂(Tissue inhibitors o
随着现代信息社会的发展以及数据时代的到来,有线宽带服务已逐步拓展到无线终端服务领域。而以语音传输和文本传输为主的传统移动通信系统,正逐渐地演变成为以提供移动用户高
以正交频分复用(Orthognal Frequency Division Multiplexing,OFDM)为代表的多载波无线传输系统具有高速传输、有效对抗信号多径传播带来的符号间干扰、频谱利用率高以及实现