多数据流协同处理技术的研究与实现

来源 :中国电子科技集团公司电子科学研究院 | 被引量 : 0次 | 上传用户:lialianing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前主流的流处理框架采用的都是分布式子任务独立计算的设计模式,分布式子任务在处理过程中彼此不发生信息交互,无法获取其他子任务的信息要素,分布式子任务间难以进行协同处理。同时,在一些流处理场景中存在具有时序性特征的数据,这类数据在进行后续的分析处理前必须完成时序同步的操作。一方面,为解决流处理框架在分布式子任务难以进行协同计算的问题,本文基于Apache Storm的流处理框架引入协同处理的模式,构建起分布式子任务间协同计算的能力。首先基于Storm实现跨分布式子任务间的实时消息传递,用于为协同计算算子分发、数据同步提供技术支撑,然后进行了分布式子任务协同计算的建模工作,并对模型中的各个模块进行了设计和实现,从而支持用户通过指定算子类型、配置算子内容实现跨子任务的协同计算。另一方面,针对多数据流的时序同步问题,本文设计了主从式结构的时序同步模块。该模块通过Akka并发处理框架进行实现,并基于Akka框架的Actor模型实现了模块中各类角色的消息交互,以及设计了模块中交互的消息类型和数据结构,确定了模块中主控节点和工作节点各自处理相应消息的流程。基于上述的研究工作,本文设计和实现了面向多数据流的实时处理的原型系统。通过相应的实验证明,该原型系统能实现多数据流的同步操作,并具备多数据流的协同处理能力。
其他文献
论述了氢化物形成的普遍性、氢化物的物理化学性质、元素周期系各类元素的氢化物类型。认为一些金属离子、非金属离子在酸性介质中与硼氢化钾(钠)作用及金属锌等强还原剂作用生
宁镇山脉中段矽卡岩型铁铜矿床的成矿深度是该地区深部找矿前景分析的重要参考因素,以往多运用地质分析法来定性讨论。通过野外调查,发现这些矿床常有少量闪锌矿伴生。初步研究
豇豆(Vigna unguiculata(Linn.)Walp)为重要的豆类蔬菜,广泛种植于世界各地,随着效益农业的发展,一些蔬菜产业化生产基地中由于常年种植豇豆,导致连作障碍问题日益突显。自毒作用是豇豆连作障碍的主要原因之一,肉桂酸作为豇豆主要自毒物质,探究其对豇豆毒害机理,对豇豆连作障碍克服研究及豇豆连作障碍低敏感品种选育工作具有重要意义。本试验以两种自毒作用敏感程度差异品种豇豆特早30号(T
美国第三大石油公司康菲石油公司2017年3月29日宣布,同意以177亿加元的价格将其大部分加拿大油砂资产出售给Cenovus Energy Inc,Cenovus是加拿大最大的石油生产商之一。这宗金
日本安川电机公司开发了伺服电动机用的磁力式编码器。该编码器体积小、抗干扰性好。编码器由电动机的旋转轴直接连接的永磁铁和用于检测轴的旋转角的霍尔元件构成(见图1)。该
2017年5月6日,西门子医疗中国发布了融合多学科与专业组定制化的实验室创新解决方案;2017年5月18日,致力干鼓励当代大学生挑战和改变自己,激发其创新精神,2017“拜耳超级实习生”
目的对风险防范护理方法在儿科护理中的作用效果进行探讨。方法我院儿科88例患儿随机分为两组,护理组采用风险防范护理,对照组采用常规儿科护理。比较两组患儿家属对护理的满意