论文部分内容阅读
随着信息技术的发展,数据量超过1012的海量数据已经随处可见并且数据量还在不断增长。从成本和存储容量等因素综合考虑,目前人们大都采用将磁带库、光盘库等第三级存储设备作为海量数据的主要存储介质,并与主存、磁盘一起构成一个三级的存储系统作海量数据的存储结构。为了充分利用三级存储系统中海量数据提供的信息,需要开发出真正的基于三级存储系统的海量信息管理系统。由于三级存储系统各存储层次在数据存取性能方面存在巨大差异,为了使三级存储系统各存储层次“无缝”地连接在一起并很好地融入到数据库系统中,就必须研究设计出符合三级存储系统硬件特点的高效的查询处理方法。查询处理技术的研究是基于三级存储系统的海量数据管理系统研究中的一个重点和难点。查询处理问题的解决将极大地提高基于三级存储系统中海量信息的管理和应用水平。本文以三级存储系统中的海量数据为研究对象,研究了基于三级存储系统的海量数据的查询处理方法。根据需要访问的数据存储位置的不同(磁盘上还是第三级存储器上),将三级存储系统中海量数据的查询分为D-Query、T-Query和TD-Query三类。由于D-Query访问的数据存储在磁盘上,可以采用传统数据库处理查询的方法对其进行处理,因此本文随后重点研究了第三级存储器查询(T-Query和TD-Query)的处理方法。在分析了已有的查询处理方法后,提出了基于两次分解的第三级存储器查询处理方法。该方法将第三级存储器上的查询分为第三级存储器执行部分和磁盘查询计划两部分,并分别在第三级存储器和磁盘上进行处理。同时,利用查询分解技术进一步提高分解得到的磁盘查询计划的执行性能。随后对第三级存储器查询处理的查询优化、查询调度、查询执行以及结果收集等各阶段的关键技术进行了研究。为验证本文提出的方法的性能,我们还进行了模拟实验,实验结果表明本文提出的方法能有效地处理第三级存储器上的查询且性能优于已有的方法。最后,设计并实现了一个利用本文方法处理查询的基于三级存储系统的海量数据管理原型系统。