基于MapReduce的分布式规则匹配系统的研究与实现

被引量 : 0次 | 上传用户:hhkjtest
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着基于规则的系统的广泛使用,规则匹配的效率问题越来越受到人们的重视。自上世纪七、八十年代以来,人们一直为提高规则匹配的效率而努力。本文通过对优秀规则推理引擎系统进行学习和研究,同时在对分布式计算框架研究和学习的基础上,提出和实现了一个基于MapReduce的分布式规则匹配架构,利用MapReduce的思想,将匹配任务分解到一个集群中,并经过适当的归并,快速得到规则匹配的结果。在大规模的规则和数据的环境下能够显著提高规则的匹配效率,并且使系统具有更好的可扩展性和灵活性。本文首先从总体需求、接口及系统效率和可靠性需求等几个方面对系统需求进行了分析,并在此基础上提出了系统的总体架构。和MapReduce架构一致,系统采用了Master/Worker模式,将Worker分为Map Worker和Reduce Worker,分别进行分布式规则的匹配和结果汇总的工作。Master负责完成任务的分解和分配,并对所有Worker进行管理和监控。然后对分布式规则匹配系统的任务分配策略进行了介绍。在将规则分解成子规则的基础上,提出了一种子规则的分配策略,根据服务器负载信息和已分配的子规则信息,实现将子规则及规则匹配的任务能够均衡地分配到分布式环境中。在对事实进行分配时,基于子规则的分配情况,提出了事实的分配策略,将事实分配到存在相应子规则的Map Worker上。并给出了处理子规则与事实匹配的具体Map过程。接着详细介绍了分布式规则在完成匹配后的触发和执行方式。给出了在归并中间结果时所采用的具体Reduce过程。在处理规则触发时,提出了对关联规则进行触发的方法,并给出了控制规则触发过程的方式。在处理冲突时,介绍了几种比较常用的冲突解决策略。文章最后给出了原型系统的实现类图并对系统的性能进行了测试。在系统实现部分,以实现类图的方式介绍了对Master Map Worker、Reduce Worker及系统交互IO等主要模块的设计。通过对不同问题规模和服务器规模的情况进行测试,比较了系统匹配效率,测试结果基本上达到了预期效果。
其他文献
目的:了解安徽省某农村地区居民慢性病流行现况、影响因素及防治现状,为当地基层卫生部门制定慢性病防治策略提供相关政策建议和理论支持。方法:采取分层整群抽样的方法,选择
目的:探讨苦豆子提取物槐定碱(SR)I调控B7-H1基因对人胃癌细胞多药耐药的调节机制。方法:人胃癌细胞SGC7901和多药耐药细胞SGC7901/DDP常规培养,苦豆子提取物槐定碱干预48h后
海鳗因其肉质细嫩,味道鲜美,营养丰富,其各种制品广受人们的青睐。海鳗产业不仅在我国渔业经济中占重要地位,而且已成为一些地方经济的支柱产业。然而由于海鳗肌肉中脂肪含量
<正>20世纪三四十年代,市场营销学正式传入我国,但在改革开放之前,它只处于"传播阶段",并未得到很好的发展,直至进入90年代,它才被广泛接受,也标志着我国的营销管理进入了理
在课题《以多元的体育活动促进幼儿身心健康》的研究中,我班以组织幼儿开展球类运动为切入口,进行研究活动,在研究的过程中,通过观察发现一些问题,但是有关幼儿球类运动的文
目的探讨胆石症与大肠癌发病相关关系。方法回顾性分析自2005年1月至2010年12月间经病理确诊的238例大肠癌与本院年龄性别匹配的非结肠癌395例。统计两组伴发胆石症、胆囊切
应用微电脑胃肠电检测分析系统,观察针刺足三里对功能性消化不良(FD)患者胃电图的影响。结果:①FD患者餐后胃电幅值和频谱慢成分累加值增加幅度不大,与健康组相比明显低下;②
清末财政制度的改革主要表现在 :改革行政管理体系 ,强化中央调控能力 ;设立银行 ,建立公库制度 ;整理全国财政 ,试办财政预算等。推动财政制度改革的原因 ,除了清末“新政”
大学生生活在一个科技飞速发展,媒介日益丰富的信息时代。媒介信息的易得性和丰富性,使媒介成为大学生认识和理解世界的校外“课堂”。但是,与媒介的高速发展相对的是,大学生
从团队理论与实践的现实问题出发,把解构主义的哲学理念和社会运行机制的分析方法引入到对团队问题的研究当中,提出了和谐团队的概念及其四个价值目标,剖析了和谐团队的核心