基于BSP的大规模图处理系统中的任务调度与同步控制

来源 :东北大学 | 被引量 : 4次 | 上传用户:pootcat
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息化时代的到来,一些新兴领域如社会网络分析,web2.0技术分析和生物信息网络分析对于解决规模图处理问题提出了更高的要求,如要完成这些需求,就必须做到能够同时处理10亿以上的图顶点,所以对如此大规模图处理问题的研究和发展已经成为计算机学科当中的新兴领域。本文对BSP模型,Hadoop, Pregel, HAMA等大规模处理领域技术进行了较为深入的研究,解决了基于BSP的大规模图处理系统中任务调度和同步控制两大难题,为系统的顺利开发提供了基础。结合Map-Reduce的任务调度思想和BSP模型的特点,采用了一种任务推送的方式保证同一个作业的所有任务同时启动。本文提出“负载均衡因子”概念,利用数据分片技术、数据本地化技术和负载均衡技术来实现对系统整体性能的优化。实现了系统的任务调度策略。在Zookeeper基础上,本文采取三次路障同步的方式来完成超步迭代过程中的同步控制。为了充分利用图迭代处理的收敛性质,本文在同步控制过程中设计了能够根据图当前状态自动判断是否启动下一个超步的机制。同时针对单个工作节点可能存在多任务并发运行的特点,本文实现了同步控制的优化设计,用来减少集群的负载。本文最后将整个系统部署到真实集群环境中进行测试,通过实验结果对比分析,指出系统的制约性因素,并对数据本地化和负载均衡两个因素对系统整体性能的影响加以测试,为系统的进一步升级提供了依据。
其他文献
随着我国信息化建设的不断推进,越来越多的工作需要使用电子计算机和计算机网络来完成。同时,如何通过网络进行多人协同工作的问题急需得到解决,而目前尚没有一个完善的解决思路
本文论述了基于CAN(Controller Aera Network)总线的分布式调度监督系统的设计和实现。它是以单片机为核心,采用CAN总线构建多主局域网,通过监测6502电气集中电路来实现列车运
本论文首先建立一个反映产品、过程、组织、时间等要素的多视图模型,在此基础上针对软件产品和过程,从形式化描述与验证、变更影响分析和自动化工具这几个方面进行了研究.具
移动多媒体邮件MME是一个结合互联网和移动网络的全新系统。相比较一般的邮件系统而言,作为一个需要全天候稳定运行的电信产品,对垃圾邮件过滤以及如何发现和预防由于垃圾邮件
企业的业务流程是非常复杂的,在为企业设计与流程相关的软件的失败率很高,原因在于所设计的软件处理的流程与企业实际运行的流程不相符合.针对该问题,该文采用一阶逻辑形式化
随着信息处理在通信、工业生产、商务处理等领域的广泛应用,数据已不仅仅拘泥于文件、数据库等传统的静态形式,一种连续、无界、不定速度的数据流已经出现在越来越多的应用领域
计算机支持的移动协同学习是近年来CSCL的一个重要研究内容.移动设备(如手机)由于屏幕小、内存小、数据处理能力有限等因素一直在CSCL领域难有作为.问题具体表现在两个方面:
随着黑客入侵事件的日益猖獗,人们发现只从防御的角度构造安全系统是不够的。入侵检测技术是继防火墙和数据加密等传统安全保护措施后新一代的安全保障技术,它能够对计算机和网
现代网络教育以计算机网络以及卫星通讯技术为支撑,具有时空自由、资源共享、系统开放、便于协作等优点,近年来得到极大的发展.学习资源的可共享性和系统的互操作性对于网络
计算机行业在经历了硬件主导的时代、软件主导的时代之后,现在正处于网络主导的时代。随着Internet的迅猛发展和下一代网络的带宽建设,互联网发展的新阶段正在悄然来临。网络将