论文部分内容阅读
随着社交网络、电子商务等新型互联网应用的蓬勃发展,产生了大量业务数据。这些数据具有规模庞大、增长迅速、结构多样等显著特点,是典型的大数据。针对大数据的查询处理是实现企业决策支持、业务报表分析等核心商业应用的基础,受到业界的广泛关注。如何快速、高效地实现大数据查询处理已成为当前研究热点及难点。云计算作为一种弹性、可扩展的分布式计算模式,可提供强大的计算、存储能力,逐渐成为大数据查询处理难题的重要解决方案。近年来,研究人员将在线聚集机制引入云计算环境,通过对随机样本的近似估计获取近似查询结果,在满足用户查询精度的前提下通过精度与性能的折中来实现查询性能的大幅提升。然而,现有云计算环境下的在线聚集机制并不能很好地支持倾斜数据集和高并发查询,导致样本采集效率和样本质量偏低,且具有较高的冗余计算开销,直接影响查询性能;同时基于中心极限定理的估计方法存在估计失效问题,降低了查询精度进而影响查询性能。本文针对云计算环境下在线聚集研究工作的不足,依次从底层数据管理、任务执行模式、在线聚集近似估计三个角度入手,分别围绕在线聚集数据预处理、多查询共享优化、近似估计失效等问题展开研究,旨在提高在线聚集整体执行性能,满足大数据查询处理对性能和精度的双重需求。综上所述,本文研究思路可概括如下:首先,在底层数据管理方面,面向倾斜数据提出一种基于内容的数据划分算法及数据块索引、放置策略,通过提高在线聚集的采样效率和样本质量、保证计算与存储负载均衡,实现在线聚集执行性能的大幅提升;其次,在任务执行模式方面,针对高并发查询请求提出两阶段共享策略,通过合并重复的采样及计算过程减少冗余开销,提高在线聚集的执行性能;再次,在近似估计方法方面,针对在线聚集近似估计失效问题,结合bootstrap采样方法提出一种混合近似查询框架,通过预测在线聚集失效概率实现查询模式的动态切换,进一步提高在线聚集执行性能;最后,基于东南大学云计算平台,结合上述理论研究成果设计并实现云计算在线聚集原型系统,基于真实电子商务数据对系统进行功能和性能测试以验证其可用性和有效性。本文对云计算环境下的在线聚集机制进行了深入探索,通过一系列实验以及在实际云计算环境中的运行结果表明,本文研究成果能够在保证用户查询精度的同时有效地提高在线聚集执行性能,可为电子商务报表统计、业务分析等典型大数据查询处理应用提供行之有效的解决方案,为大数据查询处理的发展做出有益贡献。