多核平台下Esper数据流管理系统的性能分析研究

来源 :东华大学 | 被引量 : 0次 | 上传用户:zhangfalun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机及其相关技术的发展,尤其是网络的发展,传统数据库处理永久数据的模式已经不能适应现在大量的实时在线应用的需求。在很多应用领域中出现了一种新的数据模式——流式数据。与传统数据相比,数据流具有有实时性、连续性、数据量庞大等特点。复杂事件处理引擎可以从数据流中检测出匹配的数据序列,在流数据处理和实时响应方面非常出色,近些年得到了越来越广泛的应用。Esper是复杂事件处理引擎中非常出色的一款。Esper事件处理系统可用于复杂事件处理和数据分析,适合用于处理大量历史的或是实时的消息和事件流。由于近些年多核处理器已经成为主流,应用已经非常普遍,因此在多核处理器上研究Esper的性能情况非常有必要。本文着重分析了多核计算平台下,基于Esper引擎所构建的数据流处理系统的性能表现。首先介绍了基于Esper引擎的实验平台的设计与实现,并对该实验平台的基本结构和关键模块的构建进行了详细阐述。然后设计了完整的查询语句和测试用例,并使用该实验平台对多核平台下Esper引擎的性能进行了测试。实验中主要将查询语句分成四大类:简单查询、聚合查询、连接查询、模式匹配查询,并对查询语句的命名规则和参数设置进行详细阐述。实验中采用了线程池技术,本文主要从线程池工作模型、处理流程、排队策略以及如何实现线程池的设计做了详细描述。实验通过实时监控和离线数据分析两种方法展示了系统的各项性能指标。最后对实验中得到的原始数据进行统计分析并得出了实验结论。实验结论表明Esper数据流系统对多核平台并不能提供良好的支持,原因是Esper引擎内部的一些设计缺陷造成的,同时指出了后续待研究的一些问题。实验结果中还得到了很多对构建Esper数据流管理系统非常有用的结论,包括不同事件数、不同类型查询、线程池不同数目队列对系统造成的各种影响情况等。这些可以帮助开发者更好地了解Esper引擎在多核平台下的优势和劣势,以便于开发基于开源Esper引擎的更加有效的流处理系统。
其他文献
<正>活动目标:1.初步了解老师的工作,体验老师对自己的关心和爱护;2.会说温馨的话,表达对老师的热爱之情。活动准备:1.每人一篮材料:内装一盒彩色油画棒、一张心愿卡。2.事先
期刊
同任何事物的成长一样,消费增长有它的内生性和外生性。有支付能力的消费欲望是消费增长的内生力。要遏制当前消费率继续下滑的趋势,提高居民消费率和社会最终消费率,从内生性角
和大多数的地图浏览软件一样,GoogleEarth也具备"测距功能":只要点击工具栏上的标尺图标,就可以在地图上测出任意两点间的距离,可以为我们提供不错的出行参考。不过要想用好
期刊
继郁金香(Tulip)和美人鱼(Ariel)之后,朗琴又推出了天梭(Tersedo)系列旗舰新品。天梭系列Tersedo的名称,由单词Terso和Do组成,意为简捷操控,首款新品为T5,为全球第一款采用“单键飞梭”
嫌你的硬盘闲置空间太多了吗?这里有高清电影、大型游戏、少量图片……绝对满足你塞爆硬盘的需要!什么?下载太慢、找不到下载的地方、下载后不晓得文件跑哪儿去了?今天《电脑迷
利用反渗透对印染生化物化尾水进行回收,考察了分离浓缩过程中,浓缩液和透过液水质随体积浓缩倍数(CF)变化情况,探讨印染生化物化处理尾水反渗透回收机制。研究结果表明,分离
<正> 生产力经济学是一门科学,这门科学的理论结构要求它只限于研究生产力。同时,为了实现其理论功能(即实现一定的目的),解决发展生产力的问题,其研究范围又不能局限于生产力,由此产生了理论结构与理论功能的矛盾。为了使生产力经济学既具有合理的结构,又具有指导实践的功能,就要明确其研究范围。概括起来,生产力经济学
目的:探究用中药治疗类风湿关节炎的用药规律。方法:采用计算机检索的方式检索知网近十年来收录的关于用中药治疗类风湿关节炎的相关文献,并对检索到的文献进行分析和研究,建
近期,“暴风盒子”在网络上悄然走红。暴风盒子是个什么东西?有什么作用呢?这期的暴风大讲堂将对暴风盒子做一个详细的解释(如图)。
无论是纸质贺卡还是通过网络传送的电子贺卡,大多都是2D的平面,总感觉没有太多新意。随着电影《阿凡达》的热映,3D风靡网络,我们就跟2D贺卡说拜拜,借助“立体电子贺卡”(http://www.howdycardcom)让卡片也3D起来吧!