基于元数据的数据质量评估算法研究与实现

来源 :中国石油大学(北京) | 被引量 : 0次 | 上传用户:ciissyma
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据质量的高低对企业乃至国家都起到举足轻重的作用,拥有高质量的数据已成为企业发展的重要保障,如何对数据进行质量检查,找出问题数据已成为信息时代的热点问题。数据质量评估是衡量数据问题最有效的途径,通过对数据进行质量评估,不仅可以知道数据的质量高低,还可以定位到问题数据的位置,为提高数据质量奠定基础。数据质量评估的维度包括完整性、一致性、准确性、关联性和及时性等,通常对数据质量的评估是通过多个维度进行的,这些维度的确定需要根据数据本身的特点来决定。本文在针对关系型数据库中的数据质量方面,提出了一种普遍适用的基于元数据的规则提取模型,解决了在定量评估方面使用数据集单一的问题,该模型能够对数据源进行统一处理并提取出元数据和部分评估规则,通过建立异构数据源接口,从数据库、数据表到数据项逐步深入分析,最终形成元数据规则库,规则库为数据质量评估提供了依据。接着在数据完整性、准确性和一致性这三个维度上建立了评估算法,最后对整个数据库进行了评估,评估结果可以清楚地反映数据的质量状况,表明了该模型下算法的实用性和可靠性。
其他文献
慈善事业是社会保障体系的重要部分,也是对社会资源的第三次分配。改革开放后,我国慈善事业迅速发展起来。官办慈善组织作为我国慈善事业的主体,在促进社会和谐、救助弱势群
党的十八大以来,习近平对高校思想政治教育工作给予了高度重视。习近平发表了一系列重要讲话,在全国宣传思想会议、全国高校党的建设工作会议、全国高校思想政治工作会议、全
所谓合同履行障碍,在客观上表现为当事人因不可抗力或自身原因不执行合同规定义务的行为。在我国的立法上,一般来说,《中华人民共和国民法典》(以下简称“《民法典》”)的第577条规定1是合同履行障碍制度紧紧围绕的核心概念。从搜集到的域外法来看,《欧洲合同法原则》、《德国债法现代化原则》和《联合国货物买卖公约》等都采取了合同履行障碍的法律效果进路,2021年1月1日起施行的我国《民法典》同样吸纳了域外经验,也采纳了合同履行障碍的法律效果进路,这与原因进路有明显区分。原因进路是18
新加坡2013年初中历史教学大纲,揭示了教育部门对于新加坡近年来的历史教育的要求和期盼。大纲认为初中历史教育,一方面是培养学生对于历史概念的理解,另一方面也是培养学生
土壤盐渍化是影响作物生产的重要非生物胁迫因素之一,随着近些年来沿海地区城市化进程的加快,对沿海地区盐渍化土地的开发和利用已迫在眉睫。玉米作为一种易种植、好管理、适应性强的粮食作物和饲料作物,如果能被合理种植于盐渍化土地,将能产生良好的经济效益,加快沿海地区农业的发展。本文采用了梯度滨海盐渍土鉴定法,研究了不同的土壤含盐量(质量分数分别为:0.15%(control check,CK)、0.2%、0
加强政务诚信、社会诚信和司法公信建设是党对诚信建设的具体要求。只有将个人与组织层面的诚信上升到国家、社会层面,营造良好的社会信任氛围,才能真正实现和谐社会。良好的
随着移动互联时代的到来,人们对网络流量需求的增长超过了光纤通信容量的增长速度。单模光纤通信系统的容量已经接近理论极限,在穷尽时间、频率、偏振和正交振幅的光通信维度的方法之外,急需在光纤通信中开发新的维度来解决容量问题。模分复用系统成为了扩展通信容量的最佳方案,而模式均衡技术是模分复用系统的关键技术;少模光纤因比单模光纤传输的模式数量多,比多模光纤中的模式色散小引起了研究人员的重视。本文利用有限元法
相比于传统的无线电通信(Radio Frequency,RF),可见光通信(Visible Light Communications,VLC)具有大带宽、数据速率高、绿色节能、无电磁干扰等优势,受到了国内外学者的广泛
多肽保护的金团簇具有独特的物理化学性质,因而被广泛应用于生物感应、生物医药以及催化等诸多方向。研究发现,多肽保护层赋予了金纳米团簇生物相容性和特异性,而且多肽保护的金纳米团簇具有稳定的分子结构,因此体系才能够发挥其生物效应。在靶向药物的结构设计中,多肽保护金团簇的分子结构具有重要意义。而在多肽保护金团簇结构的研究中,氨基酸配体对金核的影响是氨基酸与金团簇界面上几何结构探究的根本性问题。目前,氨基酸
南极大陆环境恶劣制约了陆地高等植物的生长。苔藓和地衣在南极大陆分布广、数量多,是陆地生态系统中的主要生产者。南极苔藓生长受许多因素的影响,包括温度、风、湿度和UV-B辐射。由于苔藓主要生长在南极海岸附近,土壤中的盐度高低也是影响其生存和繁殖的主要因素。南极苔藓具有独特的生理和遗传特征,使其能够高度适应极地环境。本研究通过转录组测序分析了南极黄丝瓜藓在盐胁迫下的差异表达情况;分析了盐胁迫对南极黄丝瓜