论文部分内容阅读
如何消除数据库中的重复信息是数据质量研究中的一个热门课题.文中提出了一种高效的基于N-Gram的检测相似重复记录的方法,主要工作有：（1）提出了一种高效的基于N-Gram的聚类算法,该算法能适应常见的拼写错误从而较好地聚类相似重复记录，复杂度仅为O(N)；同时提出了该算法的改进形式,使其在检测的同时能自动校正单词的插入、删除错误，提高检测精度.（2）采用了一种高效的应用无关的Pair-wise比较算法，该算法以单词间的编辑距离为基础，通过计算两记录中单词间的编辑距离来判断记录的相似与否.（3）给出了一种改