基于特征加权与特征选择的数据挖掘算法研究

被引量 : 53次 | 上传用户:eu2005
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据挖掘是目前人工智能和数据库领域的研究热点。几十年来各种不同的数据挖掘方法得到了广泛的研究。数据挖掘不仅是数据库知识发现中的一个重要步骤,从数据库的大量数据中,自动搜索隐藏于其中有价值的规律信息;也是一种决策支持的过程,利用人工智能、机器学习、模式识别、统计学、可视化等技术,分析各种类型的数据,从中挖掘出潜在的模式,帮助各个领域的专家及研究和开发人员做出正确的决策判断。目前,数据挖掘作为一门迅速发展的研究领域,面临着越来越多新的问题和挑战。首先,数据的规模越来越大,也就是所谓的大规模数据的问题;其次,数据特征的维数不断增加,导致出现所谓的维数灾难的问题;最后,数据挖掘越来越强调多学科的交叉,不仅需要灵活运用统计学、计算机、数学等建模技术,同时还需要具有生物学、脑科学、证券金融等学科的知识背景。针对上述的挑战,人们提出了针对大规模数据的流数据分析方法;针对高维数据的特征加权和特征选择方法;同时,生物信息学等交叉学科也成为目前数据挖掘领域的研究重点。本文围绕特征加权和特征选择这一主题,在研究和借鉴现有算法的基础上,针对上述问题,提出了一系列新算法、改进算法、以及新的应用。文本所研究的内容主要涉及两个方面,即针对特征加权技术的软子空间聚类算法的研究与改进,以及利用特征选择方法的分类技术的研究与应用。特别是针对当前数据挖掘领域所面临的大规模数据的问题、高维数据特征加权和特征选择的问题,以及多学科交叉的问题,都进入了深入地研究和探讨。本文提出的算法被成功应用于信息检索中的文本聚类、基因表达数据聚类、人脸识别与分类以及生物信息学中二硫键连接模式预测等实际问题,很好地验证了所提算法和技术的有效性。具体而言,本文的研究内容和创新性成果主要在于:1)本文针对高维大规模数据或者流数据的子空间聚类问题,利用在线学习策略和模糊可扩展聚类技术,与现有的软子空间聚类算法相结合,提出了两种在线软子空间聚类算法(OFWSC、OEWSC)和两种流数据软子空间聚类算法(FuStreCA、EnStreCA)。2)本文提出了一种新颖的多目标优化软子空间聚类算法(MOSSC),利用多目标优化技术,分别优化软子空间聚类方法中的类内、类间两个目标函数,并利用加权子空间二部图划分方法对所得的非占优Pareto最优解集进行分析,推导出最终的聚类划分结果。3)本文针对软子空间聚类算法面临的数据簇数目不确定和聚类中心初始化两个问题,将模糊和熵加权软子空间聚类算法与竞争合并策略相结合,提出了基于竞争合并策略的模糊加权软子空间聚类算法(FWSCA)和熵加权软子空间聚类算法(EWSCA)。4)本文利用稀疏表示的思想和L1范数最小化的方法,提出了一种新颖的基于稀疏分数(Sparse Score)的特征选择方法,通过构造样本间的稀疏表示重构系数矩阵,计算数据集中各个特征的稀疏表示保留能力,从而对数据集的特征重要性进行排序。5)本文针对生物信息学中二硫键结构模式的预测问题,通过利用四种基于分数方程的特征选择方法得到蛋白序列全局特征和局部特征的特征子集,并利用SVR方法在得到的特征子集上进行二硫键连接模式的预测。同时,本文利用得到的特征选择结果分析了蛋白序列全局特征和局部特征的重要性。
其他文献
5.12汶川大地震过去已有4年之久,在抗震救灾过后,更重要和更艰巨的任务是灾后的恢复和重建。各社会工作机构针对不同地区和灾民的需要,开展了众多专业社会工作服务。本研究试图
金山地区10kV配电线路运行数据表明,雷害事故是10kV配电线路事故频繁发生,危害配电网的供电可靠性和电网安全,影响人民群众的生产、生活用电的重要原因之一。结合金山地区10kV配
为提高坑透数据解释效果,通过对工作面无线电波透视磁场强度的理论分析与公式推导,表明在正常煤层范围,场强值的变化主要受观测点几何位置控制;而在观测点场强路径穿过地质异
随着全球化进程的加速,国家间的交往日益加深,世界范围内对公民素质的要求逐步增强,公民教育逐渐被各国接受和认同,并受到更多国家的重视。改革开放以来,我国同国外的经济、政治
拥有五千年璀璨文明的中国所蕴含的文化底蕴影响了一代又一代的华夏儿女,而有关传统图案的重要性以及其涵盖的广度,无论从图案发展的角度还是从图案对人们思维形态的影响中都能
随着我国经济的高速发展以及与国际社会的交往日益频繁,网络市场正逐渐成为消费者购物的一个重要渠道。与此同时,消费者的自我表现意识越来越强,人们开始追求自我展现,追求个性和
《陕西省绿色建筑评价标准实施细则》颁布至今已有近两年时间,它是陕西省绿色建筑评价体系的核心部分。本论文以该细则为研究对象,分析细则在框架结构、评价指标、条文细节等方
体育运动是人为创设的身体活动,旨在突破自我,增强体质,并常以竞技的形式体现。相对于其他社会活动,它不仅具有一定的特殊性,更具有内在的风险性。因此,体育运动中经常会发生
建国以后,推翻旧制,新兴的社会主义国家逐渐得以确立,成为中国历史进程的新纪元。“废旧立新”成为中国社会的主流意识和政治热情,在政治、经济、文化、法律等领域效仿苏联模式,构
在总结多年田径裁判队伍建设和管理实践经验的基础上,提出了在新形势下福建省田径裁判队伍建设和管理的建议与措施。如何加强裁委会作用是落实裁判队伍建设和管理措施的关键;