基于分布式文件存储的个人信息融合系统的研究与实践

被引量 : 3次 | 上传用户:skljgsdklj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息化进程的推进,多个企业间及企业内部各信息系统进行数据交换、整合的需求愈加强烈。但由于信息系统开发的阶段性,许多企业内部的数据库应用系统都是分布、独立、异构的系统,在各自的局域网内形成信息孤岛,无法实现数据共享。这就使得数据集成成为数据库应用领域的一个重要研究课题。于此同时,数字信息量激增,海量数据的产生需要与之相匹配的高效计算能力来处理数据,这使得传统的单机数据集成模式不堪重负。云计算作为一个新型的面向服务的计算模式,很好的适应了数据集成的需求。本文研究了在云计算环境下,以高效的数据存储管理以及高性能的数据处理为出发点,基于分布式文件存储构建多源异构数据的企业级数据集成应用系统的问题。在高效数据存储管理方面,提出了一种基于容器的分布式文件存储系统。给出了基于容器的存储模型,定义了模型中文件、容器、存储节点、主节点等基本概念,并描述了集群体系架构;介绍了元数据维护方案、文件标识及文件的访问算法。在高性能数据处理方面,面对数据集成过程中数据清洗所要求的计算规模与单机的运算能力间存在的巨大差距,针对大数据量小文件的现状,在上述基于容器的分布式文件存储系统的数据管理模式的基础上,研究并设计了小文件运用Map/Reduce并行计算模型的解决方案,将运算分布在集群环境中。最后,依据上述两点研究设计了多源异构的个人信息数据集成,完成了个人信息融合系统构建,并详细介绍了各模块的功能和工作原理,结合项目真实数据进行了验证。
其他文献
本研究试图通过对大学生群体媒介使用情况的调研,探究在新媒体环境下受众角色的变化以及媒介发展的趋势。本论文以实证调查为基础,并结合国内同一主题的权威数据、重要文献以
普希金的《叶甫盖尼·奥涅金》是俄罗斯现实主义文学奠基之作,作品鲜明地反映了俄罗斯文学的民族性特征。多余人是当时社会一部分贵族知识分子的典型形象,从社会历史文化方面
弦脉在中医脉诊中不仅出现频率较多,而且常出现在较为复杂难疗的疾病中,因而研究弦脉具有重要的意义。《脾胃论》是中医学中举足轻重的一本名著,本文从《脾胃论》中的弦脉相
欧阳予倩是戏剧表演艺术家,他从舞台实践角度理解喜剧的发生机制和构剧技巧,他的喜剧构剧十分巧妙,情节曲折,动作性强,极具观赏效果,是社会讽刺喜剧的成功范例。
本文试图运用管理学知识,结合运营商重组和3G投入运营后中国移动通信领域新的竞争格局,从以下几个方面论述中国联通的市场竞争策略。目前国内3个主要的通信运营商在重组后都
威瑟拉德堡一串晶莹透明的竖琴声,牵引出一个皇朝古堡的兴衰。威瑟拉德堡悬崖上,屹立着一只目光锐利的历史之鹰。在游吟诗人的浅唱低徊中,一个时代就这样结束、复活与重现了
本实验旨在研究一语注释和二语注释在不同学习条件下(即顺带学习和刻意学习)对词汇习得和阅读理解的影响。为了明确实验目的,本文基于输入强化理论,修定阶层模型,以及总体任
<正>睡眠障碍是抑郁症诊断的标准之一。过去认为,睡眠和抑郁症是单向因果关系,即抑郁导致睡眠障碍,因而对二者的相关性研究重视不够。近年研究认为,二者存在复杂的双向关系。
以高岭土、长石、石英、磷酸钙、氧化锌、氧化铁等原料制备高温无铅仿古金属光泽釉。主要研究了釉料配方组成及烧成制度对釉面效果的影响。结果表明:当在基础釉中添加(wt.%)
探讨新砭石疗法临床治疗疾病的特点,总结归纳新砭石疗法的临床应用范围和规律并找出存在问题,展望研究方向。通过检索2000~2009年28l篇砭石相关文章,对其中新砭石治疗疾病的方