事务数据流处理的若干关键技术问题研究

来源 :中南大学 | 被引量 : 2次 | 上传用户:dlufey
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
面对数据的激烈增长,传统的数据仓库技术已成为分析管道的瓶颈,传统的先存贮再查询的数据管理和结构难以解决数据仓库的实时响应要求。数据流持续查询和复杂事件处理在处理快速、大量数据时都采用了不保存数据直接在内存中对数据进行处理的方法,提高数据处理的实时性,同时也减少了对计算资源的占用。但数据流持续查询和复杂事件处理在处理关系型数据流时都是直接将其转化为流表,忽略了数据的事务特性;对多数据流的连接查询采用基于时间或者基于元组的连接查询语义,没有考虑关系型数据流各种复杂的窗口连接语义和多数据流的同步问题;在处理数据流与磁盘存贮表的连接查询时直接将磁盘存贮表转化为流表的形式,没有考虑两者之间连接语义和内存开销。关系型数据库作为一类重要数据来源,在数据流和复杂事件处理中增强对事务数据流的处理是很有必要的。本文主要针对数据流持续查询和复杂事件处理中的关系型数据流处理进行了扩展,使得数据能够实时快速处理的同时也保持其事务特性。主要的研究工作如下:(1)提出了事务数据流的单调性理论,该理论使得事务数据流的单调查询输出在处理相同时间戳的元组时与元组顺序无关,保证了事务数据流查询计算的ACID性质。为实现事务数据流的单调查询,本文提出了延迟计算策略和基于主存数据库的查询执行。实验说明基于主存数据库的查询执行有效地解决了窗口的分组驱动及事务数据流的共享计算,验证了事务数据流的单调性理论。(2)针对多事务数据流的连接计算问题,提出了滑动窗口标识匹配的连接语义模型。数据流的基本连接语义模型会导致内存溢出,而基于时间和基于元组的滑动窗口连接模型无法处理各种不同类型窗口之间的连接查询。本文通过滑动窗口标识屏蔽各种滑动窗口间的差异,在各种不同的滑动窗口之间进行连接查询。为实现滑动窗口标识匹配,本文提出了滑动窗口的子窗口存储结构及该存储结构下的窗口维护和连接计算算法,并通过优化子窗口存储结构来提高连接计算速率。实验验证了该语义模型可屏蔽各种滑动窗口间的差异,解决多事务数据流的同步和连接计算问题。(3)对数据流和磁盘存贮表的连接计算算法进行了改进。通过对经典算法MESHJOIN算法的分析,发现MESHJOIN算法每次连接计算后都替换存贮表放在内存中的整个数据块,因此产生大量的磁盘I/O。为减少磁盘I/O,本文提出将存贮表在内存中的数据块划分为若干逻辑分区,每次连接计算后仅替换其中的一个逻辑分区。实验证明改进算法降低了每个滑动窗口计算时的I/O代价,提高了每个滑动窗口的计算速率。(4)对事务数据流与多个存贮表的连接计算,提出将多个存贮表之间的查询定义为实化视图后再与事务数据流进行连接计算。本文对实化视图的增量维护算法进行了改进。对实化外连接视图的增量计算提出了基于连接析取范式的辅助增量计算算法,实验证明该算法保证了增量计算的正确性也克服了外连接视图定义的约束条件。对实化连接视图的增量计算提出了数据源上的延迟补偿算法,实验证明该算法避免了全局时间戳和系统静止时刻的补偿要求。数据流持续查询和复杂事件处理已广泛应用于物联网、云计算等环境。本文的研究旨在增强数据流持续查询和复杂事件处理对事务数据流的处理能力,具有一定的理论意义和实用价值。
其他文献
面对现代信息社会不断增长的海量数据信息存储需求,传统的计算机外存储系统的信息存储能力已经受到了空前的挑战。为此,各种新的信息存储理论和技术方法应运而生,人们在原有
“工具论”是“三老”(叶圣陶、吕叔湘、张志公)语文教育思想的核心,对我国当代语文教育有着深刻的影响。它使语文教学长期以来受到“工具性”的制约,走进了科学化、技术化的
<正>我国民族唱法风格单一化可以说是历史的必然。从上个世纪五六十年代中国声乐界提出创立中国的声乐学派的理想开始,到以金铁霖教授的那些杰出学生为代表的主流声乐学派的
次贷危机从2007年8月全面爆发以来,对国际金融秩序造成了极大的冲击和破坏。为了维护金融体系的稳定,必须加强宏观审慎监管,防范系统性风险。压力测试作为系统性风险管理的重要
目的:评价参精颗粒治疗小儿反复呼吸道感染气阴两虚型的有效性和安全性。方法:将110例气阴两虚型反复呼吸道感染患儿随机分为两组,其中治疗组74例,对照组36例。治疗组给予参精
<正>一、关于《规划》和《计划》的提出上一届政协理论研究会做了大量奠基性、开创性的工作,但因种种原因,一直想制定却没有制定一个理论研究规划。本《规划》和《计划》是中
农业职业教育不仅是农技推广(管理)人才的摇篮,而且还是培训骨干农民的重要基地,是农业科技成果转化为现实生产力的桥梁和纽带,所以在科教兴农中,具有不可忽视的作用与价值。
<正>在中共中央2014年12月29日召开的政治局会议上,审议通过的《关于加强社会主义协商民主建设的意见》(以下简称《意见》),已经正式下发。这一文件的最大特点,是根据十八届
为使钢筋混凝土框架结构具有较好的抗震性能,要求结构在地震作用下能够实现“强柱弱梁”的破坏机制。“强柱弱梁”机制是指:梁端塑性铰应当先于柱端塑性铰出现,并且尽量多出现
论文运用经典统计学和地统计学相结合的方法,以黄土高原典型地貌丘陵沟壑区(庄浪县)与平原区(武功县)为例,探讨了土壤有机碳空间变异特征及县域尺度土壤有机碳的合理采样数。