论文部分内容阅读
1引言在信息化的现代社会中,获得的各种数据越来越多,对于这些数据的处理工作也逐渐变多。对于很多数据的常规操作来说,数据量达到了一定的程度,其处理的复杂度便会上升,速度也会下降。对于海量的数据处理而言,即使是最常见的排序操作也会面临许多问题。本项目基于Spark开源框架设计了一个高性能的排名系统,适用于海量、可能存在倾斜问题的数据。