海量数据处理中基于数据划分的查询优化研究与实现

被引量 : 0次 | 上传用户:sumjoy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着现代科学技术与信息产业的迅速发展,网络环境下的应用领域不断扩展,越来越多的应用呈现出数据量海量,以及持续加载等特点,其庞大的数据规模,往往使得查询性能低下,基于现有软硬件条件,需要针对这些海量数据的查询请求,基于具体的数据存储与组织方法,提出更好的查询优化的解决方案。本文的主要工作包括:1、比较和分析了海量数据处理的查询优化的各种解决方案优缺点,以及各种不同解决方案的适用场合。2、提出了面向特定场景的海量数据的多维数据划分查询优化方法。该方法将存放在一个表中的大规模数据通过多个维度进行数据划分,改变其存储处理方式,从而优化在海量数据环境下的查询性能。3、在基于CORBA实现的并行查询服务的基础上,对上述查询优化方法进行了实现。通过给出的数据划分方法,可以减少查询请求需要扫描的数据规模,使其降低到现有软硬件系统处理范围之内,得到最高效的处理能力。4、基于该数据划分方法,进一步研究了并行处理、查询优化等技术以提高系统整体查询效率;5、最后对提出的基于多维数据划分的查询优化方法进行了性能分析和实验,对算法的性能及其可行性进行了分析和验证。
其他文献
<正>《过秦论》是我国进入封建社会初期两汉文帝时代的杰出的政治家、思想家和文学家贾谊的不朽之作。《六国论》是北宋著名的散文家苏洵的传世佳篇。两篇论著在成文时间上相
主动脉夹层动脉瘤是指由各种原因造成的主动脉壁内膜破裂,血流进入主动脉壁内,导致血管壁分层,剥离的内膜片分隔形成。本文从动脉夹层动脉瘤的预兆、病因、临床表现、辅助检
现金流量表在我国开始实行已有四年多的时间 ,但对于现金流量指标分析却一直未形成切实可行的体系。通过对我国上市公司广夏 (银川 )实业股份有限公司 (简称银广夏 )巨额利润
目的:分析影响肝动脉介入化疗栓塞术(TACE)治疗原发性中晚期肝癌预后的主要因素,为治疗方案及预后的评估提供理论依据。方法:对88例单独使用TACE或TACE联合肝动脉介入化疗(TA
河南省拥有丰富的旅游资源,逐渐成为世界性的旅游目的地。郑州作为河南省政治、经济、文化中心,正以其独特的魅力吸引着国内外游客。郑州市的旅行社就是在此背景下相继成立的
国家助学贷款在内蒙古已有了一定程度的发展 ,但在实际运作当中 ,还存在着发展速度放缓、满足率低、结构不平衡及信用风险较大等问题。为进一步完善国家助学贷款制度 ,建议 :
随着雷达极化信息处理技术的不断进步,以及越来越多的具备极化测量能力的新型雷达的出现,极化信息在雷达抗干扰中的应用正逐步受到重视。论文以雷达极化抗干扰为研究内容,针
借助语料库研究方法和技术手段,考察了中国英语专业学习者(共4个年级)针对同一主题写作中词汇和词块使用特点和规律。研究结果发现:一至四年级学习者在词汇类符(type)和词簇(