基于Hadoop的海量数据处理模型研究和应用

来源 :电子设计工程 | 被引量 : 15次 | 上传用户:woshichuanqi007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文中针对如何从海量数据中提取有用价值信息这一开发应用问题,通过分析现有计算和存储技术,并且结合Hadoop的技术研究,设计了一种海量数据处理模型,该模型是以Hadoop技术为基础的。文中先介绍了分布式系统,然后描述了Hadoop架构,最后介绍了本设计的海量数据处理模型。该模型通过一系列设计可以有效的缓解了网络压力,同时它不需要程序员具有相应专业的经验就可以对超大系统进行整理并且获得所需资源。该模型具有高效率、低成本以及易维护的特性。
其他文献
美国纳斯达克推出世界上分辨率最高的行间转移CCD器件KAI-47051图像传感器,为严格的工业检测和测绘应用中获得性能和能效的新水平。这4700万像素(MP)KAI-47051图像传感器提高如生产线终端平板检测和航拍等应用的分辨率,较当今在这些应用中广泛使用的KAI-29050图像传感器的分辨率超过50%;且同时保留这些应用所需的CCD级图像均匀性和全局快门架构。新的
根据研究区实测露头剖面沉积构造、岩矿、沉积地球化学、粒度分析、古流向资料、重矿物及沉积相的综合研究资料,并结合地层、古生物、区域岩性等资料,对研究区石炭纪岩相古地
概述了纺织品五氯酚(PCP)残留量的检测方法,包括分光光度法、高效液相色谱法(HPLC)、高效液相色谱/质谱联用法(HPLC/MS)、气相色谱法(GC)、气相色谱/质谱联用法(GC/MS)和免疫分析法等,总结了
选取中欧纺织品服装消费品基本安全性和使用说明方面的技术法规及其对应标准,系统地进行对比研究。在基本安全性方面,双方除了对禁用偶氮染料:和游离甲醛都有规定外,对于其他项目
文中对车长周视指挥镜系统的故障进行了深入了解与研究,提出了一种基于BAM神经网络和FTA相结合的诊断方法,利用故障树分析法建立各个分系统的故障树,使用最小割集对系统进行分解
目前,我国经济水平的发展的确呈现上升趋势,并且也潜移默化中带动了我国的能源需求,其消耗也在不断增加,要想做到节能环保,就需要对能源消耗予以控制,节能减排无疑是各个行业
利用再生资源代替不可再生资源并加以回收利用,成为目前面料行业抵御金融危机的热点趋势。海天集团在2009年3月29~3113北京举办的Intertextile面料展上推出了海天Ecorona产品,其
库车油气系统北带在第三系盐-膏质区域盖层之下已经发现了6个孔隙流体超压的大、中型气田,其主要产层的压力系数多在1.8-2.0之间.通过对他们的地质特征、分布特点和地应力环
在审艺学的学理观念框架下,针对艺术教育面对新时期的任务、目标及要求,围绕着艺术教育活动的实施和艺术教育学学科构建,进行深入与拓展的思考,建构更合理化,更完善化的艺术
超级电容作为一种储能元件因其有许多普通电容器和电池无可比拟的优势越来越受到国内外学者重视。本文基于对超级电容模型的研究,提出基于模糊控制的双向DC-DC变换器对超级电