高效而准确地挖掘出大数据中的有效信息,是大数据研究领域的一个热点方向。Top-k查询技术,是一种常见的序敏感查询技术,被广泛应用于网络系统监控、元搜索引擎、关系型数据库、分布式系统等大数据应用场景。现在常用的Top-k查询技术,存在着以下的问题:1.现有的Top-k查询处理技术大多是应用于传统的集中式数据库,而针对分布式环境设计的Top-k查询技术较少。2.目前应用于分布式环境的Top-k查询技术也往往是根据集中式数据库算法的改进,会存在通信量过大,查询效率低;3.尚未有成熟的基于MapReduce编程模型的Top-k查询技术。针对以上的问题,论文从传统的Top-k查询技术的几个设计维度出发,研究经典Top-k查询技术的处理方式和性能,结合分布式环境的特点,提出了一种基于MapReduce并行编程模型的NTA算法来解决分布式环境下的Top-k查询问题。论文的研究内容如下。1.首先从多个维度分析Top-k查询技术,包括:常用的Top-k查询模型、对数据源的访问方式、数据源以及查询的确定性和评分函数等,并研究一些经典的Top-k查询算法,着重探讨了 TA算法和TPUT算法,同时对这两种算法进行性能分析,总结出这些算法存在的诸如剪枝效率低、在特定情况下查询效率低等问题。2.在借鉴经典算法优点的基础上,设计了有新剪枝策略的NTA算法来解决分布式环境下的Top-k查询问题。首先,通过新的阈值和上界规则对数据集进行剪枝;然后,将剪枝后的数据集进行聚合分析,返回最符合需求的结果。该方法的优点是:(1)新的剪枝策略,可以在算法执行的前中期排除更多不可能结果,提高算法的执行效率;(2)使用MapReduce并行编程模型,保证算法的并行执行效率。3.论文最后在开源的Hadoop平台上设计并实现了该算法,并在其上进行了对比实验。通过实验结果证明,该算法有良好的查询效率和扩展性。