分布式流处理技术综述

来源 :计算机研究与发展 | 被引量 : 0次 | 上传用户:QQ403402618
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,在越来越多的领域出现了对海量、高速数据进行实时处理的需求.由于此类需求往往超出传统数据处理技术的能力,分布式流处理模式应运而生.首先回顾分布式流处理技术产生的背景以及技术演进过程,然后将其与其他相关大数据处理技术进行对比,以界定分布式流数据处理的外延.进而对分布式流处理所需要考虑的数据模型、系统模型、存储管理、语义保障、负载控制、系统容错等主要问题进行深入分析,指出现有解决方案的优势和不足.随后,介绍S4,Storm,Spark Streaming等几种具有代表性的分布式流处理系统,并对它们进行系统地对比.最后,给出分布式流处理在社交媒体处理等领域的几种典型应用,并探讨分布式流处理领域进一步的研究方向.
其他文献
黑龙江省现有灌溉明渠水量计量方法与计量设备比较落后,要对水资源科学管理和利用,必须对渠道水量方法与计量设备进行改造,应用电子技术管理水量计量方法与计量设备,使灌区工
消息中间件是一类为应用程序提供通信服务的中间件.该文论述了在消息中间件的实现中如何采用集群技术,分析了实现集群技术需要解决的问题,提出这些问题的解决方案,并且给出了
海南高校图书馆文献信息资源初具规模,但是开发利用率低;在其开发利用中要密切结合开发利用的特点、原则与内容,根据不同的策略,以不同的途径与措施,有针对性地开发利用.
伴随市场经济发展,陕西目前正处于企业创业活跃的特定阶段。本文以陕西创业型企业文化建设为研究对象,提出在企业文化建设的过程中,社会、政府和企业应统一认识,共同努力,逐
军事文艺是嘹亮的军号。军事文艺的作用不可替代,军事文艺的阵地不可丢失,军事文艺工作不可弱化,军事文艺工作者大有作为。要以习近平主席打造强军文化讲话精神为指导,系统总
对孩子进行适当的抗挫折教育,增加一些磨炼,有利于使他们懂得如何正确地对待挫折、失败和困难,从而具有较强的心理承受能力和坚强的意志,对于他们将来的成长,对于我们民族未
本文通过对一个企业质量方针的剖析 ,阐述了企业在贯彻 ISO90 0 0标准、制定质量方针时应把握的四项具体要求。
本文采用统计分析的方法,研究了径向圆跳动与圆度误差同轴度误差的关系,得出了它们之间关系的统计规律,并发现存在径向圆跳动有时会小于同轴度误差的这一特殊情况。
关于污水的处理,除了需要高效的技术和手段支撑外,还需要制定明确的处理思路。通过分析污水治理现状,明确污水治理工作存在的不足。为了能够达到处理标准,深度挖掘污水处理资