论文部分内容阅读
随着云计算与大数据技术的飞速发展,基于Hadoop平台的MapReduce技术得到了广泛应用。通过将数据挖掘算法与MapReduce技术相结合,能够更加便捷高效地获取有价值的信息。分类算法作为数据挖掘中的一类重要算法,对数据的预测分类起到关键作用。随机森林是分类算法中的典型代表,在各个领域都得到了大规模应用,但是子决策树的分类结果以及相应的计数信息都有可能造成隐私数据的泄露。MapReduce环境下满足差分隐私保护随机森林算法的目标是保证差分隐私的前提下提高分类数据的准确性。本文针对目前在MapReduce环境中所面临的数据使用与安全问题,提出了基于分布式环境的差分隐私保护算法。该算法将特征选择方案结合指数机制进行设计,通过采用等差分配方式、等比分配方式以及均分分配方式三种不同的隐私预算分配方式,使算法的分类准确率得到明显提升,显著降低了计算量,提高了运行速度。主要的研究内容如下:(1)针对在分布式环境下海量数据在运算处理的过程中容易遇到数据泄露以及恶意分析的问题,提出了基于MapReduce的分布式计算框架下满足差分隐私的随机森林算法(Differential Privacy MapReduce Random Forest,DPMRRF)。该算法通过使用Hadoop集群中的MapReduce技术,结合随机抽取记录的方式,将数据集分配到各个节点,并启动Map分任务进行数据的整合处理。Reduce分任务通过使用指数机制完成属性的选择与更新,最后对叶子节点添加随机噪声,使得分类的结果满足差分隐私。实验表明,该算法在保证数据可用性的同时也具有较高的分类准确率。(2)设计了指数机制与特征选择方案。通过运用Fayyad边界点判定原理,改进连续属性分割阈值的选择,消除离散属性的无效以及重复计算。采取一次性评估特征属性的方式,同时对离散属性和特征属性进行评估。连续属性值的细分方案和离散属性的细分方案通过指数机制以概率分布控制输出的方式进行打分,并在等差、等比和均匀隐私预算分配的三种噪声分配方式下进行实验对比。通过运用Hadoop集群的MapReduce技术,构建有效的差分隐私随机森林隐私保护模型。此方案有效的减少了算法的计算量,避免隐私参数过早耗尽的问题,保证隐私预算的合理分配,提高分类准确率的同时保证了算法运行时间更短,效率更高。(3)设计并实现了分布式环境下差分隐私保护技术的原型系统。对分布式环境下的差分隐私算法模块和噪声参数模块进行了实现,并且详细阐述了每个模块的工作流程。利用某三甲医院患者的医疗数据集在该原型系统下进行实验,实验结果表明该原型系统能够在保证数据安全的基础上对数据进行有效的分析,具有较高的分类准确率。