论文部分内容阅读
针对shared—nothing结构下大规模数据密集型系统去重查询的挑战，提出了一种有效的数据分布策略和并行处理方法分别对相关属性和无关属性去重进行优化：即自适应的散列和直方图相结合的数据分布策略，以及异步式并行查询中间件．前者在数据写入时保证数据均衡，并在数据量发生倾斜时自动调整数据的分布；后者充分发掘了去重查询处理中的粗粒度流水级并行，并消除了多节点同步等待的开销，尽早地返回结果．在生产系统DBroker上的测试表明，数据分布策略极大地改善相关属性的去重查询性能，而异步式并行查询引擎能够充分发掘并行性