基于大数据处理技术的数据可信度量方法研究

来源 :华北电力大学(保定) 华北电力大学 | 被引量 : 0次 | 上传用户:madfox1108
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据概念的提出,大数据迅速成为国内外学者研究的热点,主要研究方向包括大数据采集、大数据存储、大数据挖掘以及大数据可视化等。但对大数据可信度量方面的研究相对较少,而且之前的数据可信计算方法并不能很好的应对大数据所带来的挑战,因此研究新的大数据可信度量方法是大数据研究中一个亟待解决的问题。本文针对大数据处理技术和大数据可信度量方面展开研究。首先对大数据处理的相关技术进行了研究和分析,主要研究大数据的定义、特点和计算特征,并研究了目前处理大数据的相关技术,例如Hadoop平台、Spark分布式计算框架、Hive和HBase数据库。随后本文研究了数据可信计算方法和模型,主要针对基于交易反馈的模型、基于关系的可信模型和基于兴趣的可信模型进行了研究。此外,本文归纳了常见的各种可信度计算模型和方法的优缺点,总结了目前可信度计算的存在的安全问题。根据前面研究总结得到的可信度计算存在的问题,本文设计了大数据可信度量模型和方法,该模型根据影响数据可信度的三个方面:对数据进行判断的主体、产生或者发布数据的数据源、数据自身的相关属性,将数据的可信度划分为主观可信度、全局可信度和本地可信度三部分。主观可信度通过用户与数据源之间的历史交互记录进行计算评价;全局可信度通过数据源发布或者产生数据的交互记录进行计算评价;本地可信度通过数据源发布或产生历史数据的可信度以及本次数据的相似性进行评价计算。本文还对算法进行了实验验证,实验结果表明大数据可信度量方法效果良好。最后本文基于大数据可信度量方法设计完成了电子商务数据可信度量系统,该系统可以对卖家、买家的信誉值进行计算,同时也可以对买家和卖家之间的信任值进行计算,并且可以向用户提供信誉查询服务,为买家提供准确可靠的决策信息支持。本文提供了良好的大数据可信性计算方案,并将该方案应用于电子商务数据可信计算中,对大数据的研究具有重要意义。
其他文献
本文通过对荣华二采区10
GML是开放地理信息系统协会(OpenGIS Consortium,简称OGC)制定的、基于XML的地理信息编码标准,用于空间数据在网络上的传输、存储和发布。它中立于任何厂商、任何平台,为地理
环绕智能是欧洲信息社会咨询组对未来信息社会提出的新构想。它是一种智能化、人性化的电子环境,周围被嵌入式计算设备包围着。但在这种环境中,人机交互的模式从传统的以计算
大量研究发现,在颅内血管的流体力学仿真模拟中,精确的血管数据对于实验结果非常关键,微小的数据差异可能产生很大的差距,因此如何有效地分割血管成为仿真研究过程中重要一环
随着Internet的飞速发展,WEB已经渗透到各行各业当中,从商业、银行、财政、娱乐、教育到政府机构,WEB应用对人们的日常生活、工作产生了深远的影响。WEB以其生动丰富的用户界
RTU(Remote Terminal Unit,远程终端单元)是构成SCADA(Supervise Control And Data Acquisition,数据采集与监控)系统的核心设备。它的作用是能对现场各种信号进行数据采集、数
数据清洗在数据挖掘中占有越来越重要的地位,相似重复记录的检测是数据清洗的核心任务。对于语义重复记录的检测,至今没有成熟的算法,本文首先利用本体在语义处理方面的优势,提出
手语是聋哑人使用的交际语言,通过手的形状、位置和方向的变化来表达特定的含义,是聋哑人群获得信息服务最重要最自然的途径。普适终端,即在任意地点、任意时间,以任意方式,为人们