阵列数据库中基于SSD的Join查询优化技术研究

来源 :贵州大学 | 被引量 : 0次 | 上传用户:akiro
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
海量数据分析技术是当今时代热门研究方向,同时也是未来几年的研究重点,对于该方向的深入研究有着很好的前景。在科学研究领域,复杂性分析查询导致了网络和IO的大量消耗。这是因为科学数据分析操作包含大量Join查询,Join查询是CPU和IO密集型操作,导致了大量网络和IO开销消耗。在大规模数据集上Join操作效率很低,导致了科学数据分析效率低。即使专门针对科学数据而研发的阵列数据库通常也未能有效解决海量科学数据连接操作效率低下的问题。科学应用中的连接查询是IO密集型和CPU密集型查询,花费很大。SSD凭借其读写速度快的特点可以加速Join查询,从而提升科学数据分析效率。本文结合天文大数据连接查询的特点,针对海量数据在分布式环境下的连接操作进行了优化。主要研究内容包括:(1)提出了用于减少阵列数据库连接查询处理的网络开销的Target Join算法,比SciDB中连接查询性能提升了0.164~2.67倍;(2)提出了降低阵列数据库连接查询IO开销的JAPJA算法,比SciDB中连接查询性能提升了0.18~5.27倍;(3)提出了降低基于“SSD-磁盘”混合存储架构的Join处理中磁盘随机访问开销的JAPJABS算法,JAPJABS在JAPJA算法的基础上提升了0.02~2.67倍,比SciDB中连接查询性能提升了0.95~6.66倍。
其他文献
本文主要研究解析函数的联结边值理论,给出R-H问题中不连续联结函数的指标表示;并针对不连续情况下的平面弹性裂纹问题,给出应用实例及平衡求解。我做的主要工作可以概括为:1
虚拟视点生成技术是自由立体显示的关键技术之一。该技术是利用已有的视角图像在新视角下绘制出场景的图像,能够有效地恢复三维场景在不同视角下的信息,并且用户能够在不同视
近几年来,我国环境污染事件频发,环境问题一度成为人们的困扰所在。未经处理的污染物随处排放、雾霾频繁发生、水土流失严重等环境问题正在向人们宣告环境正在恶化,采取措施
机载激光雷达系统是一种集成了GPS、惯性导航、激光测距等先进技术的主动式对地观测系统,具有自动化程度高、控制测量依赖性少、成图周期短、受天气影响小等特点,给测绘行业带来一场新的技术革命。机载LiDAR系统有效地拓宽了数据的来源范围,它能够快速获取精确的高分辨率的地表三维坐标信息,使数据获取模式从传统的前方交汇转变为连续自动的数据获取,也使数据处理朝着自动化的方向更进一步。本文从工程应用的角度研究分
安全是一切生产活动之本。为保障一切生产活动安全进行,追求安全生产是人类理性状态。在追求安全生产过程中,前人先后提出了系统安全、产品安全、本质安全等安全理念,并认为建设本质安全型企业、社会是目前安全生产追求的最高理想状态。然而,由于企业、社会、人员自身的局限性,无法完全实现。所以本文从人的主观能动性角度出发,提出以人为中心的主动安全理念,意图从人的主动性视角进一步研究安全管理、事故的责任预防问题,寻
作为第三代激光器,光纤激光器充分显示出其他激光器所不具备的优良性能。光纤激光器具有低阈值、高效率、结构紧凑、重量轻、稳定可靠、无需水冷、且与现代通信系统相兼容等
在市场经济飞速发展的今天,现代的市场竞争越来越激烈,电话营销作为一种行之有效的手段已经成为了许多企业的常备销售手段之一。在建立客户关系、规范服务流程、考核员工绩效
目的:核糖体蛋白S6激酶(RPS6KA1)是一个高度保守的Ser/Thr激酶,别名RSK1,属于RSK家族成员,近年来有较多研究报道RSK家族与多种肿瘤的发生和发展有关,但其在肺癌中所发挥的作用研究较少。本研究的主要目的是探讨RPS6KA1在肺腺癌中的表达水平和预后价值。方法:在本研究前期,首先对本院21例非小细胞肺癌(non-Small Cell Lung Cancer,NSCLC)患者组织标本
随着京津冀协同发展,天津滨海新区成为华北地区最主要的石化工业基地。在石油开发利用过程当中,由于“跑冒滴漏”使得石油入渗到地下含水层中,对地下水环境造成污染。本文以
光伏发电技术是未来最重要的能源技术之一,染料敏化太阳能电池(DSSC)是新一代光伏电池的重要成员,低消耗、低成本和高理论效率的优势使其具有巨大的应用前景,开发稳定、高效的DSSC对解决能源危机和环境污染问题具有重大意义。DSSC光阳极TiO_2多孔层厚度对其性能有重要影响,本文制备了不同厚度的光阳极TiO_2薄膜,组装电池后进行光电性能测试。对于液态电池,TiO_2膜厚为13.2μm时器件性能最好