基于分布式框架的网络事件实时感知系统

来源 :浙江大学 | 被引量 : 0次 | 上传用户:yjj_2323
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的发展,面对海量数据时,个人的精力无法满足完成提取、获得全面而精确的信息的任务的要求,从而掌握一个特定领域下的趋势发展。基于此便提出了以事件形式作为载体,通过从不断处理的新的文档中提取事件信息,之后合并到旧有信息中,呈现给用户宏观上的统计数据和具体分析内容,并辅助人们进行各类决策。现阶段较为成熟的事件感知系统依赖于大规模计算集群,以流式与批量式集合的方式,完成了大数据规模下应用的实现。本文聚焦于在小规模集群下能够实时获取事件结果,进行查询的总体要求,以流式处理的形式,在增加系统整体处理效率与减少对算法影响的目标下,完成事件感知各项应用功能。本文基于上述目标,设计并开发了一套分布式处理平台,满足应用在各个环节下的应用要求。主要的工作包括:1)针对事件感知应用的输入、输出,用户对象进行分析,将系统划分为三个模块,完成系统总体架构设计。2)在存储模块下设计了存储形式,包括MongoDB内数据的表达与NAF标引格式。3)在处理模块下,对事件感知传统的两种类型任务在流式数据环境下进行了分布式扩展,提出了各自的拓扑设计。同时针对系统运行的Storm计算框架,优化了拓扑调度器,并针对内存计算设计了符合事件感知容错性要求的内存数据的持久化策略。4)分析与服务模块设计了针对不同查询类型的响应策略,并在查询后台设计了在分布式内存环境下基于封闭立方体的维度统计方法最后以实际检验检疫应用出发为导向,验证了系统的可用性与性能。
其他文献
随着计算机技术的快速发展,基于B/S结构的信息管理系统在企事业单位中的应用越来越广。由于WEB环境多角色多用户的特点,具有单角色扮演、后置式访问控制特点的传统被动式访问
多点触控技术是当前人机交互领域的一项重要突破,它以裸手作为交互控制的媒介,以自然化、生活化的手势定义来降低人对设备的操作陌生度。本课题从二维平面上的多点触控交互以及
近年来,三维模型的应用领域日渐广泛。随着三维建模技术和数字扫描技术的发展、计算机网络的扩张,网络中可共享和复用的三维模型数量急剧增长。在现有的条件下,如何对目前已
云模型(Cloud Model)是一种较新的定性定量不确定性转换模型,它将模糊数学和概率论有机结合,采用泛正态分布表示自然语言概念,较好地表现了自然语言的模糊性和随机性,为不确
主动服务技术在不断的研究和探索中,已经表现出了种种的优点和特性,如,传统的Web服务基于固定模块,对用户需求变化不可感知等。主动服务克服了上述的缺点,能够根据客户需求从互联
随着人类智能化要求的提升以及科学技术的发展,使计算机能够理解人的情感、适应人的自然交流方式是未来发展趋势。人脸表情包含着丰富的情感信息,反映着人类的内心世界,是一
随着通信技术的发展,多方会话正在成为因特网和移动互联网应用的一个新业务。但是目前基于SIP(Session Initial Protocol)协议的多方会话的权限由管理员控制,让一个会话参与者
安全性强度主要是指密码算法抵抗现有各种攻击的能力,它对密码算法是至关重要的。只有在保证安全强度的基础上,才能考虑密码算法的其他特性。所以,判断密码算法的安全性对密
随着处理器技术的快速发展,GPU越来越多地应用在科学计算领域,并且逐渐进入高性能计算的主流。NVIDIA推出的CUDA通用并行计算架构提供了简单、容易的GPU开发工具,使得基于GPU
随着计算机技术、通信技术和微电子技术的发展,以及现代战争的复杂性日益提高,各种面向复杂应用背景的多源信息大量出现,迫使人们要对多种传感器和不同的信息源进行更有效的集成