云计算环境下面向大数据的在线聚集优化机制研究

来源 :东南大学 | 被引量 : 2次 | 上传用户:otaku2456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社交网络、电子商务等新型互联网应用的蓬勃发展,产生了大量业务数据。这些数据具有规模庞大、增长迅速、结构多样等显著特点,是典型的大数据。针对大数据的查询处理是实现企业决策支持、业务报表分析等核心商业应用的基础,受到业界的广泛关注。如何快速、高效地实现大数据查询处理已成为当前研究热点及难点。云计算作为一种弹性、可扩展的分布式计算模式,可提供强大的计算、存储能力,逐渐成为大数据查询处理难题的重要解决方案。近年来,研究人员将在线聚集机制引入云计算环境,通过对随机样本的近似估计获取近似查询结果,在满足用户查询精度的前提下通过精度与性能的折中来实现查询性能的大幅提升。然而,现有云计算环境下的在线聚集机制并不能很好地支持倾斜数据集和高并发查询,导致样本采集效率和样本质量偏低,且具有较高的冗余计算开销,直接影响查询性能;同时基于中心极限定理的估计方法存在估计失效问题,降低了查询精度进而影响查询性能。本文针对云计算环境下在线聚集研究工作的不足,依次从底层数据管理、任务执行模式、在线聚集近似估计三个角度入手,分别围绕在线聚集数据预处理、多查询共享优化、近似估计失效等问题展开研究,旨在提高在线聚集整体执行性能,满足大数据查询处理对性能和精度的双重需求。综上所述,本文研究思路可概括如下:首先,在底层数据管理方面,面向倾斜数据提出一种基于内容的数据划分算法及数据块索引、放置策略,通过提高在线聚集的采样效率和样本质量、保证计算与存储负载均衡,实现在线聚集执行性能的大幅提升;其次,在任务执行模式方面,针对高并发查询请求提出两阶段共享策略,通过合并重复的采样及计算过程减少冗余开销,提高在线聚集的执行性能;再次,在近似估计方法方面,针对在线聚集近似估计失效问题,结合bootstrap采样方法提出一种混合近似查询框架,通过预测在线聚集失效概率实现查询模式的动态切换,进一步提高在线聚集执行性能;最后,基于东南大学云计算平台,结合上述理论研究成果设计并实现云计算在线聚集原型系统,基于真实电子商务数据对系统进行功能和性能测试以验证其可用性和有效性。本文对云计算环境下的在线聚集机制进行了深入探索,通过一系列实验以及在实际云计算环境中的运行结果表明,本文研究成果能够在保证用户查询精度的同时有效地提高在线聚集执行性能,可为电子商务报表统计、业务分析等典型大数据查询处理应用提供行之有效的解决方案,为大数据查询处理的发展做出有益贡献。
其他文献
成像技术发展是推动科技进步的重要驱动力,在物理、化学、生物、材料、医学、生命科学等学科领域产生了广泛并深远的影响。衍射现象作为光波的固有属性,限制了光学成像系统的
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
会议
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
回想儿时听过的故事<小壁虎找妈妈>,相信很多人都不陌生.小壁虎在寻找妈妈的途中,失去了自己的尾巴,可是不久它又有了一条新尾巴.后来,我们长大了,知道许多种蜥蝎都是靠尾巴
<正>受安徽省人民政府妇女儿童工作委员会办公室的委托,安徽省教育科学研究院会同合肥师范学院自2015年下半年起就"安徽省农村留守儿童心理健康与安全保护状况调研"开展了联
会议
中西翻译理论由于涉及不同的语言文化和思想体系,彼此间存在着各种各样的差异,但中西方翻译理论都以“翻译”这一特殊的语言文化现象作共同的研究对象,因此中西方翻译理论必
英语教学的最终目的是培养交际能力,在高中英语教学中培养学生的听说能力一直是广大英语教学工作者关注的重点。而视听说教学法的运用在英语听说教学中具有显著的优势,从语言
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
高校实验室是对学生进行综合素质教育的重要课堂,是技术创新的有效载体。在进行创新型人才的培养中,对实验室的要求也越来越高,这就促使实验室必须不断加强自身建设,进行实验
几年前,德国一位科学家提出这样的观点:某些情况下,动物进食并非为了充饥,而是为了保健.如今越来越多的资料证明了这个观点,动物确实具备一种本能,能够寻找到合适的药物来疗