海量劣质数据上冲突消解关键技术的研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:w__hailin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据在广泛的领域形成并且快速的扩张,同时引入了大量劣质数据(错误的、不一致的数据)。因此数据质量在大数据时代日益显得重要,但是数据质量系统的定义和方法还不成熟,远远满足不了工业上的需要。海量信息的质量与数量融合的管理系统、海量信息的数据清洗与容错管理系统应运而生。本文针对数据清洗的热点领域进行了研究。并且改进了相关方法在实践中不足。本文主要关注的领域是冲突消解-数据清洗的一个子领域。冲突指不同的数据描述对同一客观实体的不一致表达。我们的方法具有高效性,广泛适用性。兼顾很多出现在现实中的复杂情形。本文的主要贡献主要分为三个方面:第一,增量式的真值发现策略;第二,并行化的真值发现策略;第三,一个冲突消解的完整的系统框架。简要的说明如下。首先,真值发现是冲突消解系统的一个关键组成。已有的真值发现在实际的应用中没有考虑增量的问题,当新来数据时若在所有的输入上重新运行算法而不是利用已有的计算结果会造成极大的时间浪费,本文在现有研究的基础上提出了增量式的真值发现和冲突消解策略,在增量冲突算法兼顾了概念偏移的处理使之能够应对不同的输入场景。其次,本文还在Hadoop上研究了并行化的冲突消解策略,在海量数据上,单机版的程序满足不了我们对时间的要求,只有在集群上,大型互联网公司才能够提供大数据上的互联网应用,但是并行化算法和传统算法在思维方式上的不同也将面临新的问题,我们将一一探讨并解决。最后,在劣质数据上,不同的数据源可能对同一实体具有不同的描述,当对他们进行数据集成时就需要冲突消解。冲突消解的最终目标是解决所有数据的冲突,提高数据本身的质量。冲突消解的核心策略是进行真值发现,当然,真值发现也可以成为独立的应用。本文提出了冲突消解的一系列定义,定义了各种冲突的类型及其处理策略,设计并实现了一个冲突消解系统的框架,实验证明具有很好的清洗效果。
其他文献
智能视频监控系统是利用计算机视觉技术对观测到的视频信息进行处理、分析和理解,从而实现对运动目标的监测。随着计算机和图像处理技术的不断发展,智能视频监控系统的研究和
现代软件规模越来越大、复杂程度越来越高,通常都是由许多开发者合作开发完成。由于软件开发工作的特殊性,如何对软件开发者进行准确的评价一直是个难题。目前对各开发者的评价
数据流是一种以高速连续形式到来的有序项集,它不同于传统的数据库中的数据。数据流具有连续、实时、无限等特点,并且是快速到来的数据。由于流数据明显区别于静态数据,现有的对
秘密共享改变了密钥管理的方式,能够分散密钥管理权限,提高了系统的安全性、可靠性以及实用性,对于保障信息的存储和传输安全具有重要的意义,成为网络安全和密码学领域中重要的
问题分类是自动问答系统中对自然语言问题进行问题理解的关键步骤。寻找与问题类别密切相关的特征,对提高问答系统整体的处理性能和效率非常重要。中心词是问题中最能表达“问
随着信息技术的不断发展,移动互联网和社交网络广泛兴起,以数字化为基础的多媒体技术逐渐在人类社会的各个领域得到越来越广泛的应用。图像/视频等视觉信号是数字多媒体内容
养老保险与社会民生息息相关,广大参保群众在参保过程中常常会遇到各式各样的问题。研究问答系统关键技术,并将其应用到养老保险领域中,用自然语言快速准确地回答用户的问题,具有
煤炭是我国丰富的资源,随着煤炭经济的快速发展,将信息技术应用于煤矿监测与通信是当务之急。通过无线信号的传输来取代有线传输,通过在井下节点的部署,对井下施工设备和交通工具
随着合成孔径雷达(SAR)技术的迅速崛起,SAR成像具有全天候、多波段、多极化、穿透性强等特点,在海冰检测、城市规划、军事侦查以及农作物病虫害防治中扮演着重要的角色。图像分割
风力发电是近几年大力发展的新可再生能源。是一种有效的降低发电成本,减少环境污染的新能源,能够很好的并入国网使用。保证风电机组的安全、稳定、高效运行最为重要。其中风力