基于多核CPU的数据立方体并行计算方法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:jchenghai
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,联机分析处理领域也面临大数据的严峻挑战。联机分析处理以多维分析为基础,根据用户需求构造数据立方体,对数据立方体进行处理加工后将结果展示给用户。数据立方体的计算在联机分析处理领域一直是研究的热点,在数据量不断增多,维度不断增加的情况下,传统的数据立方体的计算遇到严重瓶颈——难以在有限的时间内完成高维度、大数据量的数据立方体的计算。随着近年来多核CPU的普及和应用以及内存容量的不断增长,如何建立基于内存的数据结构并高效利用多核CPU的并发处理能力来处理海量高维度的数据立方体成为研究的热点。本文提出了基于内存的立方体树数据结构模型,提出了基于多核CPU的多线程高维立方体生成低维立方体的算法,加快了立方体的生成速度。针对数据立方体的生成问题,本文的主要研究内容如下:(1)对数据立方体的基础知识和数据立方体聚集运算中聚集函数的分类以及基于数据立方体的基本操作进行了总结,对一些经典的数据立方体进行了描述;(2)深入讨论了统计树以及基于统计树的算法,针对其占用存储空间较大的缺点提出了立方体树存储结构,以及利用多核CPU并行创建立方体树的算法;(3)提出了基于立方体树存储模型的高维立方体生成低维立方体的断层重排算法,并基于多核CPU对该算法进行了并行化实现,并通过实验证明了该算法的高效性。
其他文献
道岔是铁路实现列车转线运行的关键轨道设备,道岔钢轨件的相关尺寸精度是影响道岔的高精度与高平顺性的重要因素之一。目前道岔钢轨件的尺寸测量都是靠人工进行,这种测量方法
视频中的异常事件检测是智能视频监控中一个重要研究方向,近年来逐渐成为深受关注的应用领域。拥挤场景是指一些人口流动性大、稠密度高的公共场所,如地铁、广场等,这些场所易发
在21世纪这个高度数字化和信息化的时代,互联网已经与人们的日常工作和生活密不可分,然而互联网却并不是一个安全的环境,它时刻受到各种恶意软件的威胁与侵害,其中传播速度最快并
计算机网络的飞速发展对网络性能评价提出了新的需求,传统的数据包仿真技术虽然已经广泛应用于网络的性能研究,并产生了很多研究成果,但是在仿真效率和仿真的可扩展性方面,数据包
Java由于其安全性、简单性、可维护性和可移植性,已经被广泛应用到大型的应用软件开发中.但要将其应用到实时系统软件的开发中,还有很多工作需要进行.本文主要对Java虚拟机的
本文对智能网的parlay网关的设计与实现进行了研究。文章针对智能网技术的缺陷,提出了基于OSA/ParlayAPI的新一代业务体系;并分别对下一代网络的概念,及智能网与parlay结合的优
电动汽车以其清洁环保性而发展起来,锂电池以其优良的性能而成为电动汽车车用动力电池的首选。由于锂电池成组使用时存在的不一致性问题,会带来锂电池组的使用寿命下降等影响
近年来,烟草工业利用信息技术生产和搜集数据的能力大幅提高,千万个数据库被用于管理、办公、科学研究和工程开发。如何高效地利用信息资源,保留现有客户开拓新市场,提高企业的核
随着通信技术的高速发展,通信网的网络规模不断扩大,网络复杂性日益提高。本文结合首信CDMA20001XBSSOMC项目设计和开发经验,研究了电信网管中数据库的设计和优化技术。文章介绍
随着信息科技在不断的进步,现实世界将是一个智能的网络世界,在这个网络里有数不清的计算和通信设备为各自目的运行着,并提供各种各样的情境信息。移动设备获取这些情境信息之后