基于MPP和Hadoop的低价值密度结构数据联合处理方法的设计与实现

来源 :中国新通信 | 被引量 : 0次 | 上传用户:yuhosun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对当前RDBMS、MPP等关系型数据管理系统在处理低价值密度数据过程中的诸多不足,提出了一种基于MPP和Hadoop的海量低价值密度的机构化数据处理方案。该方案通过结合MPP和Hadoop技术解决了目前处理手段 I/O性差的问题,并在很大程度上提高了系统的可扩展性;同时,该方案明显降低了低价值密度数据的分析成本,具有明显的经济意义。实验结果表明:该方案能够用于处理海量低价值密度数据,解决目前低价值密度数据操作方案I/O性能低、读写响应慢、价格高昂等缺点,达到设计要求。
其他文献
目的总结右心室流出道梗阻经右心房切口、三尖瓣口行右心室流出道疏通术的经验。方法自2007年6月至2010年12月,安徽医科大学第一附属医院对21例右室双腔心、单纯右心室流出道
<正>加强普惠金融的"顶层设计",完善金融服务网络,创新金融产品和服务,加快信用信息体系建设,建立风险分担和风险补偿机制,一场推动薄弱领域和重点领域金融服务工作的普惠金
<正> 近年来,我们研究了药用植物对绵羊消化道线虫病的疗效。在实际应用中,最有前途的是白芷(Heracleum L.),我们研究了在阿拜塞疆共和国广泛分布、具有饲料作用的索斯诺夫斯
【正】 第二次世界大战结束以来,韩美关系一直是韩国对外关系的支柱,这不仅因为韩国是在美国帮助下完成建国的,更重要的是因为韩国在政治、经济、安全等各方面都极大地依赖于
目的:探讨加速康复外科护理模式在腔镜甲状腺手术患者围术期的临床应用效果。方法:选取2017年8月~2018年8月于我院治疗的140例行腔镜甲状腺手术患者,随机分为观察组和对照组,
<正>全员营销存款,这在大大小小的银行已是司空见惯;但是,全员营销贷款,特别是全员营销小额贷款,却并不多见。河南省洛阳市吉利区农村信用合作联社(以下简称联社)就推行了这
乌兹别克斯坦的伊斯兰极端主义分子在塔吉克斯坦反对派联盟和阿富汗塔利班的支持下 ,于 1 999年夏天在吉尔吉斯斯坦南部制造了震惊中亚的“巴特肯事件”。对付宗教极端主义既
中国要实现可持续发展,必须积极应对资源短缺、环境恶化、海洋开发和气候变化等一系列重大资源环境问题;随着全球经济发展一体化进程加快,中国必须以全球视角研究和解决面临
提出了城市轨道交通网络过轨运营开行方案编制算法,采用固定停站方案和编组方案,研究最优的列车交路和开行频率。首先提出了使城市轨道交通运营成本和乘客出行成本最小的优化
行政主体行使行政应急权处置突发事件,能有效维护社会稳定,保障公共利益,但又容易忽视个体正义。目前,行政应急权概念之"滥"致行使之"乱",行政应急权规制上的立法与司法不协