论文部分内容阅读
新一代的分布式数据处理框架大大提升了数据处理任务的效率。然而，由于不同数据处理任务需要处理的数据的特性各不相同，因此难以找到一种统一的方法来优化数据处理任务的性能。针对不同的数据集，需要分析其相应的数据特性，才能充分利用内存和计算资源，优化任务执行效率。研究数据倾斜度这一数据特性，提出一种数据倾斜度的量化方法，基于分布式处理框架Spark，通过结合数据采样分析和源代码语义分析的方法，自动判断当前所处理数据集的数据倾斜度与处理代码的适合程度，并基于判断结果提出相应的代码自动优化方案，从而提升任务的运行效率。