一种基于规则的消重方法

来源 :第31届中国数据库学术会议 | 被引量 : 0次 | 上传用户:amwaydog
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
重复数据一直以来都是数据质量问题中比较具有挑战性的问题之一.尽管去除数据集中完全相同的数据很简单,但是大多数情况下,指代同一实体的重复数据有着不同的表示形式,去除这种重复数据是比较难而复杂的.现有的工作一般通过两种方法解决这一问题,要么通过给定的样本数据训练出分类器,要么基于数据的特性手动构造函数.提出了一个基于规则的方法,该方法能够将用户自定的函数转换成规则的形式,并且能够基于样本数据自动生成规则.实验证明方法在有效性和效率上都获得不错的结果.
其他文献
大数据已深入到各行各业,医疗作为人民群众基本需求更是首当其冲.医疗数据的庞大规模和复杂性为研究新的医疗数据挖掘技术带来机遇和挑战.通过整合MVC框架、MapReduce框架及N
分析我国公共图书馆视障读者服务现状,论述我国公共图书馆视障读者服务的主要方式,进一步探讨如何更好发展视障服务读者的阅读服务方向,从四个方面为视障读者服务发展提出合
在人们的日常生活生产中,双螺杆式制冷压缩机的应用比较广泛,其冷却器的主要功能是完成空气以及油的冷却,性能比较优良,噪音也比较低,并且本身含有的易碎部件相对较少,具有较
介绍了在本地电话网局间中继电路中运行No .7 信令采取的传送方式和遵循的原则。 Introduced in the local telephone network between the relay circuit Run No. 7 signaling
在大数据时代背景下,连接运算是面向海量数据进行分析处理的核心内容之一.由于大规模数据被广泛分布在大量节点中,连接运算代价较高,因而如何提高连接运算的执行性能一直是研
——你相信你身体里有寄生虫吗?——啊!好恐怖啊!真的吗?它们吃什么呢?——你吃什么他们就吃什么,他们把你吃进去的有营养的东西吃掉。——好可恶! - Do you believe there
本周排名前十名的行业与上周多数相同,表明这些板块个股本周表现继续相对强势。医疗设备、重型电力设备和铁路运输依旧占据前三名,且一个月来排名均位居高位。广告、机场服务
车联网应用的最终目标是将由通信设备和嵌入式计算机构成的信息空间与人们的车辆物理空间融为一体,支持用户随时随地并透明地获得符合其个性化需求的信息服务.而车载传感信息
会议
在当今全球化思潮的冲击下,中国画面临着新一轮的求新局面,虽然这是其发展过程的一个自然的阶段,但确有将西方的创作理念及形式作用于中国画的创作现象,并谓之“创新”。中西
北京1999年7月9日 在华盛顿国家新闻俱乐部进行的GovTechNet国际贸易展期间,康柏在于本周举行的AIM技术99年夏季Hot Iron大奖颁奖仪式上一举荣获了九项大奖,从而进一步增强