流数据处理相关论文
针对Storm平台的静态资源分配问题,提出一种分布式自适应弹性资源分配策略,能最优满足应用的资源需求.基于该策略,结合Storm的资源......
近年来随着智能交通辅助管理技术的不断进步发展,其为人们的生活增添了诸多便利。视频监控作为交通辅助管理的主要数据来源之一,其......
近年来,流数据处理系统的相关研究与实践取得了长足进步,已拥有近实时处理海量流数据的能力,但尚存在以下亟待改善之处:首先,经典......
传感流数据指来自设备和传感器、反映物理世界状态的一类序列数据,具有持续、时变、复杂、不确定等特征。利用服务抽象和数据融合......
StreamSQL支持DBlink语法，对非Hadoop数据源进行查询，聚合，以及同Hadoop数据源或者流数据进行关联等操作，支持输出到非Hadoop存储系统......
城市中进行的活动常常引发人群聚集，而有大量人员参与的活动可能存在公共安全隐患。为此，建立有效的手段检测人群聚集情况，及时发现人......
数据的采集、分析和处理是目前电力系统重点关注的问题之一。电力物联网系统中数据业务处理需求多样,尤其是流数据的处理对时延要......
近十来年,互联网技术得到了快速发展,互联网用户不断增加,网络应用得到迅速普及,网络数据的增长速度超乎想象。XML语言(可扩展标记......
随着因特网的不断普及,流数据处理逐渐受到人们的关注。相对于传统的静态数据,流数据具有高度的流动性,对实时更新的要求较高。本......
当前对等网(P2P)作为一种迅速发展的分布式计算模式越来越多的受到学术界和应用界的关注。和传统的client/server模式相比,对等网......
XML流数据处理系统通常运行在Web上,使用的用户可能增加到十万、百万级的数量。而用户查询通常用XPath语言表示,当XML数据以网络速......
近年来,物联网技术发展迅速,网络边缘产生了大量数据,云计算模式难保障数据处理实时性。为此本文基于边云协同技术对物联网环境下......
流程挖掘作为企业信息系统日志分析的重要手段,被广泛用于理解系统运行时产生的流程执行日志、多视角地发现流程模型以及结合挖掘......
随着大数据时代的到来,与日俱增的数据量、计算量极大地提高了数据处理的难度。对于流数据处理技术而言,不仅受数据量的影响,同时......
提出了一种基于小波分析和三次样条插值原理相结合的对大容量实验室短路电流波形处理和参数提取的算法。使用该方法对STL-TDG......
同轴热电偶热流传感器进行热流测量是风洞热环境试验的一种非常重要的手段。应用二维热传导理论，结合横向传热影响、表面温升对......
随着城市照明设施规模的日益扩大,照明设施的管理难度不断增加,丞需采用自动化技术手段提高处理问题的及时性和准确性。通过探讨城......
Storm on YARN是目前主流的分布式资源调度框架,但其存在需要人工干预和无法根据资源可用性实时调整系统资源的不足。根据流数据处......
随着大数据时代的到来,大规模XML文件不断地涌现,其信息庞大,结构复杂,而传统的XML查询匹配技术需要大量的存储空间和预解析工作,......
针对海量流数据的在线处理需求,提出一种不同于传统Map/Reduce流数据处理的系统模型Flexible workflow.该模型对workflow处理单元......
面向互联网时代XML流数据处理的高性能处理需求,充分考虑流数据查询需要处理持续到来的数据等特点,针对多数现有研究局限于XPath查......
结合空管信息技术的特点,"胖客户端"是常态,即使用端资源充足,但是网络带宽比较狭窄,没有互联网应用动辄千兆甚至更高的带宽,同时......
随着实时数据处理需求不断被提出,流数据处理系统得到了学术界和工业界的广泛关注和研究。基于批处理模式的流数据处理系统是一类......
移动互联网进入高速发展期,用户数量呈指数级增长,用户的分布性也在快速扩张,用户请求也随之迅速增长。然而,网络传输的带宽增长速......
XML查询语言当中,包含通配符＊的查询能够方便有效地满足一些特殊查询要求,但在大数据时代下XML文件容量与结构复杂性不断增加,现有......
风电机组状态监测数据具有量大、多源、异构、复杂、增长迅速的电力大数据特点。现有的故障诊断与预警方法在处理大数据时难以在保......
近年来,随着社会的不断发展,车联网作为物联网在交通方面上的分支迅速发展,各类汽车的数量也在不断增长。不论是汽车租赁公司还是......
边缘计算可以通过将计算移到边缘设备上来提高大型物联网流数据处理质量以及降低网络运行成本.对于流数据处理,边缘设备通常只有有......
在现代大数据处理应用场景中,流数据处理技术的应用十分广泛。消息中间件或消息队列常在流数据处理中起到数据缓冲的作用。Apache ......
机动车缉查布控系统以治安交通卡口系统为基础,将公路运行车辆的构成、流量分布、违章情况等信息进行汇总,实现对车辆轨迹的查询分......
大飞机进行试飞测试,能够产生海量的试飞数据。传统的数据离线处理方式效率低下,延迟了试飞周期,增加试飞成本。为了能够高效的分......
在分布式并行数据流处理中，面向实时变化且具有突发性的流数据负载，固定的资源分配将造成资源浪费或服务质量降低，因此，可伸缩的弹性资......
随着互联网技术的发展,用户呈现几何规模性增长,海量数据处理技术日益重要。本文详细的分析了面向大数据应用过程中分布式系统的关......
数据是与自然资源一样重要的战略资源,大数据技术就是从数量巨大、结构复杂、类型众多的数据中,快速获得有价值信息的能力,它已成......
空间大数据对GIS软件技术的发展提出了新的要求和挑战。但业界对于空间大数据的认知有待明晰,对于如何挖掘大数据的价值尚存疑虑。......
互联网的发展正逐步改变着各行各业的发展模式,而随着物联网的介入,现实生活中的行为活动也被IT行业刻画成了动态数据流,促使数据......
XML(eXtensible Markup Language，可扩展标记语言)[1]是一种允许用户对自己的标记语言进行定义的源语言，随着互联网的发展，XML因其简......
为了解决数据处理层的高通量实时流处理、数据传输协议定制、海量监测数据存储、动态弹性计算等问题,提出一种基于物联网的复杂装......
过去几年中我们见证了微博平台的迅猛发展,新浪微博、腾讯微博等已成为新的媒体形式。数量庞大的微博数据和其高度动态的本质,对搜......
随着风电场规模的不断扩大扩大,风电机组状态监测流数据呈指数增长,而电力系统要求对生产、管理、运营能够实时监控。为保证海量监......
针对流数据规模参差不齐、流量动态变化且突发性较强的特点,提出一种可伸缩的动态MapReduce计算模型,支持大规模动/静态数据在线处......
作为网络服务的底层硬件平台,数据中心的网络拓扑结构及工作机制对于上层的应用服务的性能具有决定性的作用。传统数据中心采用的......
针对现阶段大规模流数据在线处理的广泛需求,本文提出了弹性在线MapReduce流数据处理模型及相关的动态拓扑结构协议。该模型兼容现......
MapReduce是处理大规模数据集的常用技术,但不能满足大规模数据集中流数据实时计算的要求。对此提出一种面向大规模流数据的可扩展......
随着城镇化建设步伐的加快,城市规模不断扩大,人口不断增长,交通运输的重要性愈加突出,缓解交通堵塞、推动持续发展是当前亟需解决......
近年来可提供实时处理能力的流式计算已成为大数据研究和应用领域关注的热点。虽然面向在线处理需求的分布式流数据处理模型已被广......
