海量数据近似查询处理技术研究

来源 :桂林电子科技大学 | 被引量 : 0次 | 上传用户:xuliangaihui
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的快速发展,大数据时代已经到来,各种各样的信息收集系统产生了大量的数据。企业和组织期望从大量数据中获取到有价值的信息,用于商业决策或者探索性分析。海量的数据通常导致精确查询速度缓慢,耗费大量的时间。而在具体的分析业务中,如趋势预测或者事务决策,通常只需要获取大致的发展趋势,并不要求精确的结果,因此,可以将近似查询处理技术应用到这些场景中,以损失一定查询精确度的情况下快速获取分析结果。本文针对近似查询处理技术做了如下的工作:(1)提出了一种基于统计概要和聚类的方法,为分布式平台下单列数据的近似范围查询提供了支持,同时将其推广到分组查询、关联查询和子查询,并建立了基于HDFS和Spark的查询系统。首先,为要进行聚集计算的数据列通过聚类算法建立分组,并统计每个分组的元素数目和中心点,将其作为概要信息存储到文件系统中,在进行查询时,直接使用概要表进行重写。对分组查询,分别对每个分组对应的聚集列建立统计概要,使用概要信息获取最终结果。对于关联查询,首先通过基于Spark的布隆过滤器过滤未连接数据,并且建立非主键连接列的统计概要,将关联查询转换为单表查询。对于子查询,直接使用子查询中所有select语句所对应的表的概要信息完成查询。实验结果表明,与现有方法相比,统计概要方法可有效提升查询速度,并且查询精度较高。(2)改进并拓展了一种基于回归模型和统计概要的方法,在分布式平台下建立了基于多列数据的近似范围查询算法,同时将其推广到了分组查询和关联查询,并建立了基于HDFS和Spark的查询系统。首先使用Spark将数据读入内存。然后分别使用均匀抽样和分层抽样的方法从均匀数据和倾斜数据中获取样本,以范围查询列作为特征,以聚集列作为预测值,建立回归模型,并计算密度函数,以函数积分的方式计算最终范围查询结果。其中范围的上下限作为积分的上下限,若范围查询只给定上限或者下限,则使用聚集列的最大值或最小值代替另一个限值。结合统计概要的方法,可以快速计算在该算法中使用到的列最大值,最小值以及样本总量信息。针对倾斜数据,进行分层抽样以防止出现在分组查询中某些分组太小而导致无法获取到样本从而造成查询缺失的问题。对于关联查询,使用基于统计概要的方法将关联查询转化为单表查询,然后建立数据模型。实验结果表明,与现有方法相比,使用基于模型和统计概要的方法可以有效提升查询速度,并且查询精度较高。
其他文献
寺家庄煤矿采用了U型通风+低位抽采巷+高位抽采巷的治理模式,但在综采工作面生产过程中,工作面上隅角和回风巷经常发生瓦斯超限。究其原因主要是工作面走向高抽巷的布置参数依靠经验决定,没有科学的理论依据。因此,本论文针对上述问题,开展了寺家庄煤矿15110综采工作面走向高抽巷布置参数优化研究。通过现场调研、理论计算、FLUENT软件数值模拟以及工程应用等综合手段,验证了工作面走向高抽巷能够明显降低上隅角
18世纪末的法国大革命引发了持续的政治危机和社会分裂,让启蒙时代盛行的自然权利学说和社会契约理论遭到广泛诘难。对启蒙政治法律学说的审视和大革命的反思,让社会科学在后革命时代的社会原子化危机中诞生。作为法社会学的先驱,圣西门就是在这样的历史背景中形成了他的社会治理思想,并寻求以实业为纽带将社会中的个体重新联合起来。为了厘清圣西门的社会治理体系,提取其法社会学的精华,需要按照一定的脉络对其理论进行梳理
论文综合利用文本分析法、符号学等方法,对法国1968年五月风暴运动中的海报进行了研究。首先对五月风暴海报中的视觉文本进行分析,主要通过文本分析探讨海报的视觉构成元素,结合其他理论框架揭示图像表征背后的意识形态与抗争主旨。其次基于媒介的物质性这一理论背景,对海报的形式,海报生产的风格、观看的语境进行分析,探究当时特定语境下海报所使用的版画技术对其传播的影响,海报的集体主义实践风格,以及海报在“墙”这
在党的十八届五中全会上,“绿色发展”作为一种新发展理念被提出,彰显着中国共产党坚定走绿色发展道路的决心和信念。绿色发展理念的提出,标志着中国绿色发展观即马克思主义绿色发展观的成熟。马克思主义绿色发展观是马克思、恩格斯的绿色生态思想与中国绿色发展实践相结合的产物,它以发展观为主要抓手,是党和人民为走出人自身的生存和发展困境而选择的一种能实现人、自然、社会的共同发展的新发展观,是对“什么样的发展才是好
自改革开放以来,中国制造业在各方面取得了长足进步,如产业规模逐渐扩大、产业结构日益优化以及创新能力逐年提升等,制造业已经成为促进国民经济发展的支柱性产业,并为我国整体经济的增长注入了源源不断的动力。但同时,我国制造业在发展过程中仍存在着较多的问题。随着世界经济发展重心开始向实体经济回归,制造业智能化发展成为衡量制造业发展核心竞争力的重要指标。然而与欧美日等发达国家相比,我国制造业受到了诸如产业低端
随着互联网和知识经济的蓬勃发展,轻资产运营模式成为企业转型升级、提升市场竞争力的优先选择,现有的互联网行业、新零售业以及新兴的共享经济、长租公寓产业等都是轻资产模式的典型代表。在经济新常态的社会背景下,“去杠杆、降负债”成为供给侧结构性改革的重要任务之一,轻资产企业如何相机调整债务结构以保持合理的杠杆率成为亟需解决的现实问题。轻资产企业凭借积累的技术创新、客户资源等“轻资产”资源占据价值链高附加值
改革开放以来,我国经济社会发展走过了四十多年不平凡的光辉历程,取得了举世瞩目的历史性成就,人民生活发生了翻天覆地的巨大变化。然而,城乡之间发展不平衡不协调问题也日益
在近代中国历史中,校工是一个被人忽视的边缘群体。然而,实际上他们在中国的若干重大历史现场和历史事件中并未缺席。本文试图以上海校工为例,说明近代中国校工对社会运动和革命的参与。校工群体是伴随中国近代教育事业的发展而诞生和壮大的。他们的社会身份、经济状况、知识接触和人际网络为他们提供了参与社会运动的动机和机制,他们的数量、象征意义和关键位置也使他们在社会运动中具有特殊的意义,尤其是对于学生运动和校园政
火焰筒是航空发动机燃烧室组织燃烧和释放燃烧能量的重要部件。燃烧室每一部分的设计都对航空发动机的性能产生关键性的影响,同时火焰筒要求工作环境十分苛刻,燃烧过程中形成的高温热载荷对火焰筒会产生极大的破坏。因此,火焰筒的性能决定着航空发动机整体工作性能,决定着航空发动机高效稳定及其寿命的关键。本文设计研究了一种新型火焰筒结构,设计计算了火焰筒的总体设计参数,确定了火焰筒的流量分布和冷却孔的设计。火焰筒头
当前,中国区域经济增长方式将由依赖要素投入增长转向依靠经济发展效率增长,因而关注中国区域经济增长中的效率问题便显得尤为迫切和重要。粤港澳大湾区作为中国重要经济发展区域,其区域经济增长过程不仅面临着区域经济转型升级以及制度变革的共同问题,还面临着一些特殊的困境。本文以“粤港澳大湾区经济发展效率的评价”为选题,基于对相关文献与理论的梳理与评述,运用DEA-Malmquist模型对粤港澳大湾区经济发展效