基于志愿计算的大规模网络分布式分析架构研究

来源 :北京化工大学 | 被引量 : 3次 | 上传用户:cumtzhanglei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年来,随着复杂网络科学的不断发展,学术界对于复杂网络的研究逐渐深入,因为复杂网络的研究对很多领域的研究都具有指导意义,像其在社会学中展现出的价值或者对于传播学的研究意义,其应用也越来越广泛。但是随着社会进步以及科技发展,网络规模呈现出指数型增长,数据规模更加庞大,同时也面临着数据处理缓慢甚至计算不出的问题,如何更快更高效的处理这些数据成为了近期复杂网络研究的重大挑战之一。并行计算技术为复杂网络的高效计算提供了可能。当前的一些主流计算框架由于具有一定的限制,比如MapReduce在迭代次数多的情况下并没有展现出很好的优势,而复杂网络的计算的特点之一就是具有较多的迭代次数,因此在复杂网络的计算方面并没有显示出很好的优势。志愿计算的核心思想就是将存在于网络中的空闲资源利用,共同参与分布式计算。本文基于志愿计算的思想,以ICE中间件作为通信媒介,构建了针对于大规模复杂网络计算的松耦合分布式计算框架,用于对复杂网络的分析和计算,并将其命名为DCBV框架。框架主要采用了任务队列的思想和方法,在Master/Worker模式的基础上进行设计,增加中间层MiddleWare,将网络内的多台空闲机器动态的结合起来共同参与复杂网络的分析和计算。除此之外,基于对平均最短路径算法的改进,对设计的DCBV计算框架的原型实现进行了实验和评估。实验结果表明,本文设计的框架可以更加高效的计算出复杂网络的相关参数,并且有很好的容错性,可以随时调整计算节点的个数,同时可以随时动态调整每个计算节点分配的线程数以及根据其分配的线程数为不同计算节点分配任务集。改进的平均最短路径算法相比于之前的算法更加高效,并将改进后的算法在松耦合的计算网络框架中实现,获得良好的加速比。
其他文献
目的:探讨小儿节段性鞘膜积液的临床特点及手术治疗要点。方法:回顾性分析35例小儿节段性鞘膜积液患者的临床资料,主要表现为腹股沟区或阴囊有囊性肿物,大小无变化。对有症状
本文基于M银行2012年—2014年校园招聘数据,运用独立样本T检验和多元线性回归分析对M银行过去三年招聘人员的简历及工作绩效进行了比对研究,结果表明简历中的一些关键信息对
控制与降低肉类消费水平不仅有益于公众健康,还被认为是缓解气候变化、保护环境的一项有效且低成本的策略。但公众对肉类生产给环境造成的消极影响存在意识盲区,正是这一意识
宽光谱低反射率减反射膜对提高GaAs基多结太阳电池的光电转换效率至关重要。设计和制备了宽光谱TiO2/Al2O3/SiO2三层减反射膜。理论研究发现,当TiO2/Al2O3/SiO2三层减反射膜
琵琶的起源可以追溯到秦汉时代,随着社会不断的发展,人们对琵琶的演奏技巧以及审美的追求也在不断提高,这就要求演奏者不仅需要熟练掌握该乐曲的演奏技巧,也要对琵琶曲的背景
改善农村人居环境是农民安居乐业的重要支撑,对乡村振兴背景下农村美丽家园的塑造有重要意义。经过"千万工程"、美丽乡村、小城镇环境综合整治,浙江省乡村人居环境改善取得了
现阶段,网络诈骗案件处于高发案、低破案的状态,究其原因,既有网络技术迅速发展带来的负面影响,互联网自身的特殊属性;也有监管部门打击应对能力不足,以及相关法律规范不完善
气溶胶是大气的重要组成部分,作为空气中的细小颗粒对人体健康造成重大威胁,同时它直接或间接对大气降水、空气中的化学反应、以及区域气候、全球变暖产生影响,因此在大气化
城市建筑的色彩研究和运用已成为当代城市规划发展必须面对的重要课题。建筑色彩作为构成城市景观的重要因素,直接影响人们的视觉及精神感受,因此对我国城市建筑色彩造成的视觉
期刊
分析磨削烧伤的基本特征,并通过显微组织和显微硬度的测定探讨磨削烧伤形成的机理,对四种不同鉴别磨削烧伤和磨削裂纹的方法进行研究。