分布式海量数据处理系统计算节点的设计与实现

来源 :电子科技大学 | 被引量 : 6次 | 上传用户:z306075045
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的快速发展,各类大型企业和互联网公司对数据的处理形式越来越多样化。一般情况下,需要对用户海量数据进行有效地处理及分析。由于数据量巨大,所需的计算量不是单台电脑在合理的时间内能够完成的。针对海量数据处理的应用背景,我们设计实现了基于分布式计算的海量数据处理系统。本文主要针对这一系统中的子节点分布式计算节点的设计与实现展开研究。分布式海量数据处理系统的目的在于快速的处理海量数据,即具有高效和高可靠的数据分析处理机制。其思想主要是借鉴Map/Reduce的基本思想将海量数据以结构化的形式分布到多个数据节点中,再根据一系列的计算,从多个数据节点中提取用户需要的数据进行分析和查询。本文着重介绍系统中计算节点的设计思想与实现技术,提出了多层次通信处理框架,并在此框架上设计了一种动态分级归并查询策略,实现一个具有高效及高可靠性的分布式计算系统。本文主要做了以下几方面的工作:第一,分布式海量数据处理系统的基础架构设计。通过对现有的分布式计算技术的研究与对比,面向电信数据提出了主要由主控节点与计算资源池节点组成的分布式海量数据处理系统的基本结构框架,该架构满足了电信海量数据分布式计算的要求,避免由集中式系统或纯分布式系统所带来的不可靠性、可控性不高等问题。第二,子系统计算节点的设计与实现。设计并实现了分布式海量数据处理系统中计算节点服务器的多层次通信框架结构,使之具有高性能高可扩展性,实现业务与平台无关性,并针对电信大量数据提供了实际应用中(对网元数据进行收集,汇总,查询)的分布式计算功能。第三,计算节点中查询任务机制的设计与实现。通过对Map/Reduce框架的分析,在计算节点中针对数据实时的结构化的查询设计实现了动态分级归并查询策略,使得系统具有较为高效的实时查询机制。最后对分布式海量数据处理系统的计算节点进行功能测试,性能测试。测试表明了计算节点的有效性和高效性。
其他文献
像素图形是基于现代数字技术的图形相态,在放大后呈现出的锯齿状边缘原本是在计算机图形发展初期的一种技术缺陷。然而随着时代的发展和其他艺术形式的影响,这种缺陷却成为一
公路桥梁自身特点决定其多采用钻孔灌注桩作为桥梁基础,导致钻孔灌注桩大部分在其不适应其他地基基础的情况下施工.且多为在水下进行.整个施工过程无法观测,成桩后也不能进行开挖
本文报告118例周围动脉瘤的治疗概括,其中113例做了动脉瘤切除等各种手术治疗,有21例作了假性动脉瘤破口修补术,有58例做了人造血管或自体静脉移植术。手术死亡率为5.31%,有8
聚合酶链反应在肺结核病诊断和肺癌鉴别诊断中临床意义探讨北京市结核病、胸部肿瘤研究所孙怡芬,陈辉,胡培安广泛应用于研究微生物学技术的聚合酶链式反应(PCR)的基因扩增技术已被许
星星出来点着灯.眨着眼睛对我说: “睡吧,睡吧,别害怕,我来照亮你的梦。”
期刊
核心素养是目前教育教学中被重点提及的内容,也是现阶段素质教育改革重点培养的内容,所以在学科教育实践中,具体的教育教学措施需要以培养核心素养为目标。化学是中学阶段重
右归丸是<景岳全书>中培补元阳的代表方剂.近10年来,笔者用其治疗男科疾病80余例,获较满意疗效,现报告个案6例如下.
中华医学会第三届全国小儿矫形外科学术会议于1992年9月8—10日在沈阳召开。来自全国29个省市自治区的临床专家教授与中青年学者共375人。会议共收到学术论文681篇,经会议学
介绍了基于MUSIC算法的圆阵到达方向(DOA)估计技术,即将均匀圆阵接收数据的协方差矩阵进行特征分解,把观测数据划分为信号子空间与噪声子空间,并利用2个空间的正交性构造出"针状
职业技能训练体系中的成长学分制是基于大学生综合素质和职业技能的提高而设置的评价和管理制度。文章以苏州健雄职业技术学院为例,采用问卷调查的方式分析影响成长学分制实