论文部分内容阅读
随着大数据概念的提出,大数据迅速成为国内外学者研究的热点,主要研究方向包括大数据采集、大数据存储、大数据挖掘以及大数据可视化等。但对大数据可信度量方面的研究相对较少,而且之前的数据可信计算方法并不能很好的应对大数据所带来的挑战,因此研究新的大数据可信度量方法是大数据研究中一个亟待解决的问题。本文针对大数据处理技术和大数据可信度量方面展开研究。首先对大数据处理的相关技术进行了研究和分析,主要研究大数据的定义、特点和计算特征,并研究了目前处理大数据的相关技术,例如Hadoop平台、Spark分布式计算框架、Hive和HBase数据库。随后本文研究了数据可信计算方法和模型,主要针对基于交易反馈的模型、基于关系的可信模型和基于兴趣的可信模型进行了研究。此外,本文归纳了常见的各种可信度计算模型和方法的优缺点,总结了目前可信度计算的存在的安全问题。根据前面研究总结得到的可信度计算存在的问题,本文设计了大数据可信度量模型和方法,该模型根据影响数据可信度的三个方面:对数据进行判断的主体、产生或者发布数据的数据源、数据自身的相关属性,将数据的可信度划分为主观可信度、全局可信度和本地可信度三部分。主观可信度通过用户与数据源之间的历史交互记录进行计算评价;全局可信度通过数据源发布或者产生数据的交互记录进行计算评价;本地可信度通过数据源发布或产生历史数据的可信度以及本次数据的相似性进行评价计算。本文还对算法进行了实验验证,实验结果表明大数据可信度量方法效果良好。最后本文基于大数据可信度量方法设计完成了电子商务数据可信度量系统,该系统可以对卖家、买家的信誉值进行计算,同时也可以对买家和卖家之间的信任值进行计算,并且可以向用户提供信誉查询服务,为买家提供准确可靠的决策信息支持。本文提供了良好的大数据可信性计算方案,并将该方案应用于电子商务数据可信计算中,对大数据的研究具有重要意义。