随着互联网行业的飞速发展,人们需要被记录的互联网行为越来越多,传统的数据存储及处理方式已经无法满足大众的需求。Hadoop、Spark等优秀的大数据集群计算框架应运而生。由于用户的上网行为都会被互联网记录,当用户在浏览、购物、观影时如何合理将他们的历史行为进行合理分析,并准确的推荐给用户成为了目前的技术热点。本文研究工作主要分为以下两点:第一,传统Hash Shuffle Manager在数据量很大时会产生大量临时文件;由于本算法依赖哈希算法划分键值,从而有可能会产生数据倾斜问题。因此本文提出了一种基于权重优先的Hash Shuffle Manager调度模型优化方案,根据各服务器计算能力对计算任务进行分配,根据任务的数量对原有封装的任务集合进行分组,将不同分组的任务计算的结果写入到同一组临时文件中,从而提升系统效率。第二,推荐算法部分主要解决了输入矩阵过于稀疏而导致的推荐不准确问题。首先使用优化后的Slope One算法对输入矩阵的稀疏性进行预改善,在这之后使用余弦相似度计算公式,对预测值的准确性进行评价,并根据大量实验得到阈值,取大于该阈值的数据对稀疏矩阵进行优化,最终再使用ALS推荐算法模型对用户偏好进行预测,从而改善推荐系统的准确性。为了验证本文调度模型的改进和推荐算法模型优化的有效性,本文在第五章部分进行了大量的实验,将所得到的数据进行了数据对比,由此可得本设计能够为用户提供更加精确的推荐服务。