论文部分内容阅读
数据挖掘是目前人工智能和数据库领域的研究热点。几十年来各种不同的数据挖掘方法得到了广泛的研究。数据挖掘不仅是数据库知识发现中的一个重要步骤,从数据库的大量数据中,自动搜索隐藏于其中有价值的规律信息;也是一种决策支持的过程,利用人工智能、机器学习、模式识别、统计学、可视化等技术,分析各种类型的数据,从中挖掘出潜在的模式,帮助各个领域的专家及研究和开发人员做出正确的决策判断。目前,数据挖掘作为一门迅速发展的研究领域,面临着越来越多新的问题和挑战。首先,数据的规模越来越大,也就是所谓的大规模数据的问题;其次,数据特征的维数不断增加,导致出现所谓的维数灾难的问题;最后,数据挖掘越来越强调多学科的交叉,不仅需要灵活运用统计学、计算机、数学等建模技术,同时还需要具有生物学、脑科学、证券金融等学科的知识背景。针对上述的挑战,人们提出了针对大规模数据的流数据分析方法;针对高维数据的特征加权和特征选择方法;同时,生物信息学等交叉学科也成为目前数据挖掘领域的研究重点。本文围绕特征加权和特征选择这一主题,在研究和借鉴现有算法的基础上,针对上述问题,提出了一系列新算法、改进算法、以及新的应用。文本所研究的内容主要涉及两个方面,即针对特征加权技术的软子空间聚类算法的研究与改进,以及利用特征选择方法的分类技术的研究与应用。特别是针对当前数据挖掘领域所面临的大规模数据的问题、高维数据特征加权和特征选择的问题,以及多学科交叉的问题,都进入了深入地研究和探讨。本文提出的算法被成功应用于信息检索中的文本聚类、基因表达数据聚类、人脸识别与分类以及生物信息学中二硫键连接模式预测等实际问题,很好地验证了所提算法和技术的有效性。具体而言,本文的研究内容和创新性成果主要在于:1)本文针对高维大规模数据或者流数据的子空间聚类问题,利用在线学习策略和模糊可扩展聚类技术,与现有的软子空间聚类算法相结合,提出了两种在线软子空间聚类算法(OFWSC、OEWSC)和两种流数据软子空间聚类算法(FuStreCA、EnStreCA)。2)本文提出了一种新颖的多目标优化软子空间聚类算法(MOSSC),利用多目标优化技术,分别优化软子空间聚类方法中的类内、类间两个目标函数,并利用加权子空间二部图划分方法对所得的非占优Pareto最优解集进行分析,推导出最终的聚类划分结果。3)本文针对软子空间聚类算法面临的数据簇数目不确定和聚类中心初始化两个问题,将模糊和熵加权软子空间聚类算法与竞争合并策略相结合,提出了基于竞争合并策略的模糊加权软子空间聚类算法(FWSCA)和熵加权软子空间聚类算法(EWSCA)。4)本文利用稀疏表示的思想和L1范数最小化的方法,提出了一种新颖的基于稀疏分数(Sparse Score)的特征选择方法,通过构造样本间的稀疏表示重构系数矩阵,计算数据集中各个特征的稀疏表示保留能力,从而对数据集的特征重要性进行排序。5)本文针对生物信息学中二硫键结构模式的预测问题,通过利用四种基于分数方程的特征选择方法得到蛋白序列全局特征和局部特征的特征子集,并利用SVR方法在得到的特征子集上进行二硫键连接模式的预测。同时,本文利用得到的特征选择结果分析了蛋白序列全局特征和局部特征的重要性。