随着互联网和移动互联网的蓬勃发展,大量的数据正在以极快的速度扩展,全球已进入了大数据时代。大数据隐含着极大的价值,人们越来越希望从大量的数据中挖掘出有价值的信息供管理、决策和调控参考使用。一般情况下,数据挖掘总是假设数据是“干净”和一致的,然而现实中感知数据往往是冗余的、不完整的、错误的,且存在不一致性,这些现象的存在将会降低数据质量,严重影响数据挖掘的结果,从而影响决策的正确制定。因而,对采集到的大数据首先进行数据预处理,提高数据质量,对数据挖掘有着重要的意义。在大数据预处理中,数据清洗是保证数据质量的重要手段之一,在数据清洗中,相似重复记录清洗常用于数据去冗余处理中,去除大数据中大量的冗余数据,这对提高数据质量起着至关重要的作用。而在相似重复记录清洗过程中,数据相似度检测是基础。目前对数据相似度检测方法的研究基本集中在基于字面的字符串相似度检测方面,并且已取得了一定的研究成果,但是根据现有方法所计算出的数据相似度检测结果精确度不是很高;而在基于语义的词语相似度检测方面,研究成果相对较少,而且相关的检测方法还存在许多不足之处。因此需要研究高精度的数据相似度检测方法,对提高数据质量具有重要的意义。本文的研究工作以提高数据相似度检测的精确度为目标,针对大数据中的中英文字符,分别对基于字面的字符串相似度检测方法和基于语义的词语相似度检测方法进行深入研究,主要的内容和创新点如下:1、在基于字面的字符串相似度检测方法方面,提出了一种改进的基于编辑距离的字符串相似度检测方法,该方法在基于编辑距离的相似度检测方法的基础上,综合考虑了数据间公共子序列和公共子串对相似度的影响,通过将编辑距离、最长公共子序列以及最长公共子串进行联合,给出了新的字符串相似度度量表达式。实验结果表明,新方法具有更适中的标准差和极差,使得相似度计算结果更加合理,并且新方法有较高的准确性与灵活性,具有很好的实用性。2、在基于语义的词语相似度检测方法方面,提出了一种改进的基于知网的词语语义相似度检测方法。新方法主要是针对目前常用的基于知网的词语语义相似度检测方法存在的问题进行研究的,由于该传统的方法未深入考虑同一棵树中的两个不同义原的可达路径上所有义原节点的密度对义原距离的影响,或未考虑义原深度与义原密度的主次关系而导致相似度计算结果不够精确,从而使该方法应用受限。为此,新方法定义了一个新的节点间边权重函数,通过在边权重函数中引入两义原可达路径上所有义原节点的密度,并利用权重因子来调整义原深度和义原密度对义原距离的影响,从而提高了相似度的计算精度。实验结果表明,新方法可以更有效的提高词语语义相似度计算精度,比现有方法更具有实用性。