并行实体解析与记录聚合模型

来源 :小型微型计算机系统 | 被引量 : 0次 | 上传用户:joeworms
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
实体解析用于判断两个数据记录是否描述的是同一实体对象,记录聚合则把所有属于同一实体对象的数据记录进行聚集,建立关联,方便交叉索引.本文基于MapReduce编程模型,提出一种迭代的并行处理框架,采用面向学习的分类方法进行实体解析,根据属性相似的传递性,并结合函数式语言的本身特性,对记录进行高效聚合.相关算法和框架应用于建立医院之间患者标识交叉索引平台,为患者主索引的建立以及信息共享提供依据.实验结果表明,MapReduce编程模型非常适合于实体解析与记录聚合的一体化处理,其编程快捷,运行高效,而且数据分区和并行处理技术避免了大量连接引发的内存溢出问题.
其他文献
今春以来,延吉市加强农业综合执法工作,保障农业生产安全、农产品质量安全、维护农民合法权益.rn延吉市坚持“标本兼治,打防结合”的原则,加大农业投入品监管,严厉打击违法违
期刊
期刊
随着经济的不断发展,城市化建设进程也在逐渐加快,在城市化建设的过程当中,市政道路工程是非常重要的组成部分,它不仅仅能够让人们的生活质量得到满足,还能够有效的推动城市
本文概述了市政路桥及防水路基面的含义,介绍了防水路基面处理的原则,对市政路桥施工中防水路基面的施工技术进行了详细分析,以供参考.
电气安装调试的合理与否,直接影响到火力发电厂的发电安全和发电效率.本文主要针对在进行火力发电的过程中其电气安装要注意的事项进行了详细的探讨,并对其解决方法进行了全
期刊
公路工程施工质量管理是一项较复杂的工作,必须做好全面管控.为了加强公路工程施工质量管理与控制,必须要提高施工人员技术,要求管理人员具备较强的责任心,按照施工设计要求,
目前,后浇带施工技术在整个建筑行业的使用已经越来越普遍,因此对于后浇带施工技术来说,如何提高建筑质量,加快建设速度缩短工期,已经成为了后浇带施工技术需要解决的问题.本