流式数据多维建模与查询关键技术研究

被引量 : 0次 | 上传用户:voidemort
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着流式数据应用的不断扩展,用户亟待在这些数据中发现不同维度视角、不同数据粒度层次的异常模式、兴趣模式、发展趋势等,为实时决策提供支持,流式数据多维建模与查询技术的研究正适应这一现实需求。流式数据具有不同于传统数据的动态性、无限性、突发性等特征,另外一方面,与传统的分析方法相比较,多维查询具有较高的复杂性,从而数据建模、数据组织与查询计算均面临巨大挑战。本文针对上述挑战深入研究了多层次时间窗口模型、流式数据多维模型、流立方体计算方法、多维连续查询计算方法等关键技术。多层次时间窗口模型约束了流式数据的无限性,同时能够表达数据的多时间粒度和动态特征,通过适应性聚集树结构维持当前时间窗口中不同时间粒度的聚集信息,为流式数据聚集计算提供支持;定义流式数据多维模型,利用多层次时间窗口模型描述时间维度,用于描述模型的动态性,并定义了基本操作代数、分析操作代数与维护操作代数,为实现流式数据的多维组织与查询奠定了理论基础。针对流式数据多维组织问题提出了基于兴趣视图子集的流立方体计算方法,采用一种多路聚集树结构物化存储兴趣视图中的数据单元,支持立方体动态更新与多维查询计算。针对多维连续查询计算问题提出了基于查询状态维护的基本计算框架,并建立索引结构提高多维连续查询的执行效率。最后,以Web日志分析为例,说明了流式数据多维查询在实际中的应用。本文的主要贡献如下:(一)提出多层次时间窗口模型,通过时间粒度体系描述不同时间粒度层次数据的聚集关系,将无限的流式数据集合映射到有限的滑动窗口中,同时能够适应用户查询的多时间粒度需求,为流式数据处理提供基础支撑。提出适应性聚集计算方法维持多层次时间窗口上的聚集信息,建立适应性层次聚集树维持当前时间窗口中的聚集信息,其中的稀疏部分仅维持高层次聚集值,实验结果表明,该方法在非稳定的流式数据聚集计算中具有较为明显的优势。(二)提出流式数据多维模型,利用多层次时间窗口模型描述时间维度,约束了时间维度的无限性,同时能够表达维度的多粒度性,通过窗口中流事实的不断变化描述模型的动态特征。为了支持流式数据多维查询应用,定义了流式数据多维实例上的基本操作代数、分析操作代数、维护操作代数。最后,针对时间维度无限性、流事实动态性以及聚集函数复杂性等属性分析了模型的适用范围和约束条件。流式数据多维模型及操作代数的定义反映了多维计算的动态特征,为实现数据组织与查询奠定了理论基础。(三)针对流式数据的动态多维组织,提出基于兴趣视图子集的流立方体计算方法,兴趣视图反映了用户的查询需求,且仅占据视图集合的小部分,物化存储其中的数据单元能够减少存储空间消耗,同时能够满足大部分用户需求。在该方法中,采用一种多路聚集树结构维持物化数据单元及聚集关系,用于支持快速数据更新、即席查询与分析,在计算过程中采用多层次时间窗口约束和适应性划分策略进一步减少占用的存储空间,实验结果表明,该方法能够满足用户查询需求,并且具有较高时间和空间效率。(四)针对多维连续查询计算问题,提出了基于查询状态维护的查询计算框架,多维连续查询中维持了对连续执行结果产生影响的数据单元,通过更新、移除、输出查询结果等操作支持多维连续查询的动态计算;同时为了提高连续查询计算效率,基于连续查询选择条件建立索引树结构,用于支持多维连续查询状态的快速更新维护。实验结果表明,该方法为实现多维连续查询提供了有效途径,并具有较高的时间和空间效率。综上所述,本文针对关于流式数据多维建模、多维组织与查询计算等关键技术进行了突破性研究,提出了相应的理论与方法,对促进流式数据应用的发展具有一定的理论与实践意义。
其他文献
城市更新是城市改造、重建、再生和延续的过程。从广州城市改造的经验观察,实践中所运用的政府、市场以及混合改造模式都存在治理困境。政府改造模式导致"角色"错位,市场改造
为了解热流传感器的自身温度与输出的具体数量关系,设计一种基于C8051单片机的热流传感器信号采集系统。该系统增加专用的温度信号采集模块,使系统结构更小,功能更多,且数据
基于1961年以来经济合作与发展组织(OECD)国家以及发展中国家的城镇化数据,建立面板向量自回归(PVAR)模型以分析城镇化背后的动力因素。实证研究的结论显示,对于发展中国家,
新常态下会展业的发展问题是近来会展界最受瞩目的话题之一。文章以广州市会展业为研究对象,通过对相关资料的整理与分析,论述广州市的展会、场馆、组展机构、会展教育等方面
<正>当今新媒体的广泛应用给党的执政带来新的机遇和挑战。移动互联网、微视频网站、数字电视和智能手机等新媒体在了解民情、汇集民意、启迪民智、丰富个性化生活等方面发挥
<正>小学英语是小学教学的一个重要组成部分,而对于调皮、好动的小学生来说,让他们学好英语是一项困难的工作。因此,在小学英语教学实践中,切忌填鸭式灌输教学,教师要注重培
传统的低阶自适应滤波器难以抑制或消除激光位移信号的高阶统计噪声,且在微位移测量条件下,基于最大熵或自然梯度的盲源分离方法的收敛速度和信噪比会急剧降低。为此,文中利用混
宽带压控衰减器在现代通信系统中的应用越来越广泛,首先介绍Hittite公司的HMC346型压控衰减器,它具有大动态衰减范围、衰减随控制电压线性变化、优异的输入和输出驻波等特点;
在创面愈合阶段,表皮细胞首先迁移至受创真皮,内皮细胞形成新的血管,并用新生毛细血管交联成纤维细胞和巨噬细胞代替由纤维蛋白基质组成的肉芽组织。接着表皮细胞、内皮细胞
随着电力系统正向着可靠性、高自动化、信息化水平方向迅猛发展,对电网的监控已成为国内外高度重视的关键问题,特别是电力系统中起着控制和保护等重要作用开关柜的监控。据不