基于分组复制的编码分布式计算方案的研究

来源 :董洪岩 | 被引量 : 0次 | 上传用户:sdfcasdvgase
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Map Reduce框架是当前主流的分布式计算框架,它在处理任务时,数据交换阶段往往消耗大量时间。因此人们结合编码技术提出了能够降低通信负载,减少任务执行时间的编码分布式计算,并给出了达到最优通信负载的方案。然而该方案的实现需要大量的输入文件和输出函数,这会增加计算时间导致该方案难以在实际中应用。因此,如何在保证通信负载较低的情况下,减少输入文件和输出函数数量是一个值得研究的课题方向。本文针对同构分布式计算系统和异构分布式计算系统提出了能够降低输入文件和输出函数数量的编码分布式计算方案。其中,同构分布式计算系统的特点是所有计算机(节点)存储文件、计算函数以及传输信号的能力都是相同的;异构分布式计算系统的特点是不同的节点存储文件、计算函数和传输信号的能力不相同或不完全相同。具体如下:(1)本文所提出的针对同构分布式计算系统的方案(Ho-CDC方案)首先通过对部分节点进行分组设计,形成标准组,同一标准组内的节点负责存储相同的输入文件并计算相同的输出函数。其次,非标准组中的节点复制对应标准组中节点的输入文件和输出函数的分配方案,从而确定整个系统的输入文件和输出函数的分配方案。在传输信号上,本方案采取让最初选定的标准组中的节点在特定的传输组中为其他节点多播编码信号的传输方式。通过理论分析及实验得出,本文所提的HoCDC方案在输入文件和输出函数数量大幅度降低的同时,系统的通信负载与最优通信负载的比值小于1.324,与Woolsey等人所提方案的通信负载的比值小于1.334。(2)本文将上述分组复制的编码分布式计算方案扩展到异构分布式计算系统。本文异构分布式计算系统的方案(He-CDC方案)考虑了节点具有不同存储能力和计算能力。在标准组划分的时候,与Ho-CDC方案的不同在于不同标准组中的节点存储文件和计算函数的数量是不同的。实验结果显示,本文提出的方案与实现最优通信负载的方案相比,对输入文件和输出函数的需求量大幅度降低,并且与其通信负载的比值小于1.295。
其他文献
现阶段智慧园区不单单是智能化设备的集成,应该是站在服务于人的角度,利用合适的硬件设备,再通过人性化的软件平台,建立一套优质、高效的智能化系统。智慧园区的建设需要将各个独立的智能化系统打通,形成统一的整体,面对异构的设备,打通各系统的接口协议显得尤为重要。
期刊
在复杂的道路交通系统中,行人是交通事故伤亡的主要群体。目前关于行人过街的研究关注点主要在于事故成因分析、行人通行延误和人车交通冲突,研究发现大多数事故发生在行人过街的时候,对在路边等车的行人来说,安全过街需要对何时过马路做出正确的决定,因而明确行人过马路中的决策失误机制是提高行人安全的重要前提。行人决策研究中的间隔接受理论认为行人的过街决策正确性取决于行人对车辆的到达时间(TTA/Time To
学位
热电材料可以实现热能和电能之间的直接转换,被认为是解决当今日益严重的能源环境危机的一种潜在技术,在医疗、航天、汽车等领域具有巨大的应用前景。实现热电能量转换功能的最小元件为热电元器件,热电元器件的转换效率由组成材料的无量纲热电优值ZT决定,ZT=S2σT/(κele+Klat),其中,S为塞贝克系数,σ为电导率,T为绝对温度,κele和κlat分别为电子热导率和晶格热导率,二者之和为总热导率κto
学位
随着工业发展的进步和人类生活方式的转变,水体污染事件屡见不鲜,这些污染物不仅破坏水体生态环境,而且直接威胁到人类的身心健康。针对水体环境中的各种污染物,研究者们开发出多种废水处理的方法。生物质吸附材料因其绿色环保、方便高效的特点在吸附处理废水方面备受科学家们喜爱。同时,改变生物质吸附材料表面的润湿性,增强材料对油水的选择性也是科学家们研究的热点。在本课题中,作者以废弃高粱秸秆为研究对象,利用其天然
学位
有机-无机杂化钙钛矿太阳电池(PSCs)因其制作工艺简单、光电转换效率(PCE)高、成本低廉等优点,近年来发展快速,其效率已从3.8%提高到25.7%。然而与其理论极限效率仍有一定的差距,并且存在稳定性差的问题。由于溶液法制作的钙钛矿薄膜是多晶,其表面、晶界以及体相存在大量缺陷,这些缺陷会引起光生载流子发生严重复合、离子迁移和水分/氧气渗入,导致电池的PCE和稳定性下降。本论文通过表面工程策略利用
学位
热电材料可以实现热能与电能之间直接且可逆的转换,由其设计制成的发电或制冷器件结构简单、绿色环保,为实现能源再利用和减轻环境污染提供了一种全新的选择。一般说来,热电器件的能源转换效率取决于组成材料的无量纲优值ZT,ZT又由材料的综合电、热性能评判,电性能功率因子越高,热传导效率越低,ZT值越高。然而不幸的是,决定ZT的电热性能参数之间相互耦合,很难通过调整单个参数来改善热电性能。因此,如何协同地调控
学位
在推理心理学中,人们如何理解析取句否定(“‘p或q’不是真的”)的含义是一个有争议的问题。目前推理心理学中解释析取句否定含义的理论主要有三个:早期的心理模型理论(MMT1)、修正后的心理模型理论(MMT2)、语义违反解释(SVA)。MMT1认为“非(p或q)”意味着只有(?)p(?)q是可能的,而p(?)q、(?)pq和pq都是不可能的((?)表示“非”,即“不是真的”)。MMT2认为“非(p或q
学位
随着全球老龄化趋势的加重,大众与老年群体和平友好相处对构建和谐社会有着重要的意义。但是大学生对老年群体持有消极刻板印象往往会影响其与老年群体交往。因此,缓解或消除大学生老年消极刻板印象至关重要。其中,媒体作为个体接触世界,了解其他群体的重要窗口,会塑造大学生持有的老年刻板印象。但值得注意的是,媒体报道老年积极和消极形象时往往是不成比例,即使用越来越多的笔墨将老年群体描绘成虚弱、道德低下的消极形象,
学位
学业成就是青少年阶段学校适应和学习成果的重要体现,特别是在中国文化教育背景下,学业成就被认为是衡量教师教学效果和学生发展水平的一个重要指标。学业上的成功不仅与学生当下的整体积极发展密切相关,还会影响其在未来学业和工作成就上的表现,因此,探索青少年学业成就的影响因素及其有效提升策略一直以来都是研究者们关注的热点问题。以往研究发现,受欺负作为发生在学校和同伴关系中的一种负面经历,会对学生的学业表现产生
学位
近年来,学业倦怠已经成为了校园中普遍存在的问题行为,它对学生的身心健康具有负面影响。学业倦怠是指学生由于过度的学业压力或其他因素而经历情绪衰竭、对自己缺乏信心以及成就感不足的现象。随着时代的发展,尽管提出了“减负”,但学生面临的学业压力并没有因此而减轻。初中生由于其生理和学业发展的特点,学业倦怠问题尤其突出。为更好的对初中生学业倦怠问题进行干预和预防,需对初中生学业倦怠的影响因素进行深入探讨。根据
学位