数据质量中精确性的研究

被引量 : 0次 | 上传用户:unicom_1010
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科技的进步和社会的快速发展,人们拥有的数据集越来越大,如何有效的管理日益庞大的数据集,人们面临巨大的挑战。在使用数据之前,人们需要知道数据集的精确程度,以便人们做出准确的决策,因此数据集的精确性是数据质量中非常重要的一方面。但是,一方面有时候数据集整体的精确性不高,可是其中一部分的精确性很高,而人们需要的数据可能就在这部分中。另一方面,数据类型和数据集合表示的多样性也给数据精确性的评估带来巨大挑战。我们称数据集合的整体精确性为绝对精确性,而查询出的结果集或者数据集合的一部分的精确性为相对精确性。由于数据集的查询种类多种多样、数据集表示形式的多样性、数据种类的多样性等,现在还没有有效的评估算法和评估框架来解决以上问题。现有的算法基本都是集中对一种数据集上的一种数据类型进行评估,缺乏灵活性,很难应用于现实问题。对于数据集的绝对精确性评估,本文提出了系统性的框架。不同数据集都是由基本的单位组成的,本文以基本单位的精确性为基础,来组合评估数据集的绝对精确性;对于不同的数据类型,本文以相对误差为基础定义了一种新的精确性评估准则,在两者的基础上,我们为多模态的数据设计了精确性的评估框架。在这个框架内,我们将数据类型划分为三类,分别为可度量类型、可比较类型和类别类型,并且分别在每种类型存在真值和不存在真值的情况下给出了它们的精确性评估算法,并以它们为基础来组合评估数据集的精确性。此外还给出了如何处理数据更新和利用函数依赖提高精确性估计。对于查询的相对精确性,本文给出了如何计算查询精确率和召回率的方法,我们使用查询的精确率、召回率、F-measure和查询结果集的精确性来表示此次查询的相对精确性,并给出提高查询精确性的算法。最后通过充分的试验来证明本文所提出的精确性评估的框架和算法的有效性。
其他文献
<正>妊娠期高血压疾病是妊娠期特有的疾病,我国发病率9.4%~10.4%,国外报道7%~12%,多数病例在妊娠期出现一过性高血压、蛋白尿等症状,分娩后即随之消失。该病严重影响母婴健康
沿空留巷符合安全开采和完全开采的发展方向,具有广阔的应用前景,但已有的研究成果多是建立在浅部薄和中厚煤层沿空留巷的基础上,实践证明深部开采与浅部开采在矿压与显现、瓦斯
提出广义线性模型降尺度方法模拟降水、气温耦合空间网格化大尺度分布式水文模型VIC模拟水库长序列日径流过程的方案,目的是提高水电站日径流预报的精度。分别建立并率定广义
线条作为一种独特的绘画语言,有其独有的视觉艺术效果,在东西方绘画史中占有重要的地位。通过不同形式的线条可以表达艺术家对待物象的真实感言,以致使画面具有生动感、节奏
目的:探讨上消化道出血(GIB)与急性脑梗死的关系。方法:对GIB并发脑梗死临床特点进行分析。结果:本组GIB占58.3%,伴有高血压、高血脂、冠心病等与动脉硬化有关因素者占87.5%,
冀中定县租佃关系,为近代中国农村尤其是民国时期华北平原租佃问题提供了重要例证。总体而言,在中共革命之前,租佃关系没有发生明显变化。当地纯粹的出租地主很少,相应地,纯
随着我国城市化进程的发展,大量建筑工程都在紧张的建设当中,塔吊又称塔式起重机由于其在工程建设中的作用极大,因而被大量使用。然而塔吊的工作环境往往比较复杂,司机稍不注意就
<正>毕飞宇的《玉米》系列展现了一群农村女性在面对男性身体和心灵上的压迫,或顺从,或依附,或抵抗,甚至造成了心理的扭曲。她们沉沦在男性话语的漩涡中无法自拔,最终用自己
利用1950—2005年西北太平洋热带气旋(TC)和赤道中东太平洋表层水温(SST)资料,统计分析了赤道中东太平洋表层水温异常与TC频数、强度、源地和路径等的关系。结果表明,赤道中
牛仰口线虫(Bunostomum phlebotomum)和羊仰口线虫(Bunostomum trigonocephalum)是寄生于牛、羊小肠内的一类吸血线虫,俗称牛羊钩虫。牛羊感染钩虫会出现贫血、消瘦、生长缓