基于Hadoop的产品大数据分布式存储优化

来源 :计算机科学与应用 | 被引量 : 0次 | 上传用户:youjian_youjian
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
研究产品相关大数据资源组织存储与检索查询技术,提出在Hadoop平台基础上对产品大数据资源进行分块存储。基于MapReduce并行架构模型,提出多副本一致性Hash数据存储算法,算法充分考虑了数据的相关性和时空属性,并优化了Hadoop平台的数据划分策略和数据块规格调整。通过对数据的优化存储布局,采用多源并行连接检索方法和多通道数据融合特征提取技术实现产品大数据信息检索,提高了数据资源管理效率。实验表明和标准Hadoop方案比较,多源并行连接数据检索的执行时间为其31.9%。
其他文献
社会记忆作为人们对共同记忆的认知和重构,在人类文明传承的过程中发挥了重要的作用。照片作为社会记忆的重要载体,是人们在社会活动中,以图片形式记录下来的某个特定时期的“记忆”,在构建社会记忆的实践工作中扮演着十分关键的角色。作为保存社会记忆的综合档案馆,照片档案数据库的建设可以将历史记忆以照片形式集中存储,以更广阔的视角,重新构建对于特定时间、空间或特殊历史事件的社会记忆,促进社会记忆可持续发展。  
国家档案局、科技部在《科学技术研究档案管理暂行规定》(1987年)的基础上,对科研档案的主体责任、归档范围、开发利用等方面进行了较大的修改和完善,以国家档案局、科技部令
On December 16,2020,the project“Development of FCC technology for production of gasoline with ultra-low olefins content(abbreviated hereinafter as ULO technolo
目前关系词识别规则库中共有规则734条,主要是基于字面特征的规则,仍需补充基于依存关系的规则。本文在依存语法的基础上,运用挖掘频繁项集的FP-tree算法对复句中依存规则进
Recently the engine oil with its additive formulation independently developed by the SINOPEC Research Institute of Petroleum Processing(RIPP)has successfully pa
《中国数字经济发展白皮书(2020年)》指出,2019年我国数字经济增加值规模达到35.8万亿,占GDP的36.2%。2019年我国数字经济名义增长15.6%,高于同期GDP名义增速约7.85个百分点。数字经济正在成为推动我国经济发展的主引擎[1]。2020年,数据也被国家正式列为“土地、劳动力、资本、技术”后的第五种生产要素,成为企业各项经营与业务活动的主要驱动力和核心资产[2]。罗伯特·卡恩认
本文构建了一个事件抽取pipeline模型,其旨在对新闻中的信息元进行有效的抽取。在管道抽取模式下,先对文本进行存在事件类型识别,而后再将事件类型与文本一并作为输入传入模
干部档案是历史地、全面地考察了解干部的重要依据,体现了干部的基本诚信,也反映了组织人事部门的管理水平。通过檔案能够全面了解一个人包含年龄、身份、学习经历、入党时间、奖惩、工作调动等各种资料,是一个人的基本情况。  一段时间以来,有的干部为了个人目的在档案上弄虚作假,有的组织人事部门审核把关不严,致使涂改、伪造年龄、学历、身份等问题不时出现,造成了不良影响。  为落实中央从严管理干部的要求,坚决整治
一、新《档案法》提出的新要求(一)待鉴定档案数量增加新修订的《档案法》中将档案控制年限缩减为25年,在法律责任中又追加了“不按规定向社会开放、提供利用档案的”单位或
2018年11月中共中央办公厅印发《干部人事档案工作条例》。《条例》中进一步增加了档案信息化建设和信息资源综合开发要求。第二十三条对干部人事数字档案的界定,第三十八条中要求各级人事档案工作部门要积极将大数据等信息技术运用到档案工作中。在当今这一高科技的新时代,档案的数字化已经成为一种必然的趋势。干部的人事档案经过数字化信息处理之后,既有利于保存和管理其原件,又尽可能地改善和提升干部人事档案的工作效