论文部分内容阅读
在云计算平台下需要读取大量数据进行分析，数据中大量指代同一实体的重复数据给数据的分析和处理带来了困难。基于数据记录间的相似度进行聚类分析是目前实体识别的主要方法之一，但其耗时较长，而且不适用于云计算环境。给出了一种能够很好地利用云计算特点的基于字符串波形的实体识别方法。该方法首先统计字符频率，按照字符频率的大小生成字符串的波形，再利用基于波形的过滤性质加快相似度的计算，进行基于相似度的聚类。理论分析和通过真实数据得出的实验结果都表明了这种方法的正确性和有效性。