【摘 要】
:
数据一致性和数据时效性是大数据质量管理所关注的两个重要内容.条件函数依赖(CFDs)和时效约束(CCs)分别是用于分析数据一致性和数据时效性的有效技术手段.现实生活中的数据会夹
【基金项目】
:
国家“九七三”重点基础研究发展规划项目基金(2012CB316200,2012CB316201);国家自然科学基金(61033007,61472070,61672142);中央高校基本科研业务费专项资金(N150408001-3,N150404013)资助~~
论文部分内容阅读
数据一致性和数据时效性是大数据质量管理所关注的两个重要内容.条件函数依赖(CFDs)和时效约束(CCs)分别是用于分析数据一致性和数据时效性的有效技术手段.现实生活中的数据会夹杂一些关于一致性和时效性的潜在错误,这些错误又无法为CFDs和CCs检测和修复,最终影响数据的整体质量.值得一提的是,这些数据通常是相互关联的,这种关联关系可以用来发现数据中的潜在错误.文中使用了一种条件合并的函数依赖(CCFDs)将关联数据放在一起进行处理.基于此,该文提出了一种基于关联数据的一致性和时效性清洗方法.在数据清洗过程中,数据的检测和修复是两个相互影响的过程.所以,该文设计了一种新的自动清洗框架,迭代地进行数据检测和数据修复.其次,该文对关联数据的一致性和时效性清洗的相关问题进行了分析,并且证明了关于CCFDs和CCs的最小代价修复问题是一个Σp2完全(NPNP)问题.进而,该文采用一种启发式的修复方法对错误进行修复.为了提高修复的准确性,该文还提出了一种修复序列图的概念.最后,通过在两组真实数据上进行实验,验证了方法的实用性和高效性.
其他文献
<正> 除了兰花以外,绿色的花在花卉中是比较少见的。而人们知之不多的绿花重瓣铁线莲自然更显得珍贵一些。绿花重瓣铁线莲是产于我国秦巴山区的一个优良地方原生品种。它具备
小儿便秘是一种非常常见的儿科消化系统疾病,长期便秘会对儿童健康和精神情绪产生不良影响。通过系统阐述该病的病因病机、辨证论治,以及结合现代临床的应用情况,认为中医诊
<正>中学生写作的积弊由来已久,作文写作也常常被诟病,而面对中考、高考等各级考试,作文写作成为学习语文必须逾越的鸿沟,一节实在的、有效的作文课对作文没有入门的学生无疑
根据钢丝绳纵横弯曲原理 ,设计制作起重机提升钢丝绳张力测力传感器。文中介绍了测力传感器结构、原理 ,建立了钢丝绳动、静张力计算模式。用导出的钢丝绳张力计算公式计算 ,
综述了反渗透、微滤、超滤、纳滤、渗透蒸发、液膜等几种常见膜技术的应用现状及进展情况 ,主要对反渗透膜的原理、流程、存在的问题及开发和利用情况进行了介绍。简单概括了
社会可持续发展强调人、社会、自然三者关系的和谐发展,它要求实现全人类代际间发展机会平等条件下的协调发展与共同进步.这就呼唤人类实现性别公正,性别公正是社会可持续发
近十年来,国内学术界从多角度、多方面、多层次对朱德的生平、思想以及对中国革命与建设的贡献进行了深入研究,取得了丰硕的成果,研究领域逐步拓宽,研究内容不断深化。朱德研
在对调查铁矿污染问题的基础上,针对污染物排放特点以及造成的生态环境破坏,提出了污染防治对策。
面对国际知名动漫产品的冲击,国内同质动漫产品过剩,以代加工为主,自主原创作品少的现实,河北省动漫产业亟需转型升级。这种情况下可借鉴《乌龙小子》这一动漫作品的成功案例