基于集成学习的分布式聚类研究及云平台实现

来源 :南京财经大学 | 被引量 : 0次 | 上传用户:popwoool20
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
集成学习作为一种机器学习框架,以综合多个学习器的方式获取比单一学习器更加优越的泛化性能,聚类集成是以集成学习的思想通过组合多个基聚类器以提高聚类的准确性、稳定性和鲁棒性。而以分布式存储的大规模数据分析为目标的分布式聚类其本质上正是属于一类基于异构数据选择的聚类集成,可被称为中心化聚类集成。本文首先在聚类集成算法理论的基础上,针对一致性函数中忽视基聚类结果间差异性的问题,结合粒计算和信息熵的思想,研究一种改进共联矩阵的聚类集成算法。其次,充分考虑聚类集成和分布式聚类之间的关联性,研究基于聚类集成一致性函数的分布式聚类,将分布式聚类中局部站点的核心点选取及全局聚类的问题转化成共联矩阵一致性函数的构建及聚类集成问题来解决。最后,综合课题理论研究,开发一款分布式聚类计算云平台系统,为分布式聚类计算等聚类分析工作提供一款便捷高效的云端服务。全文主要研究工作包括:(1)改进共联矩阵的聚类集成算法共联矩阵方法在聚类集成算法的一致性函数构造中扮演着重要角色。由于共联矩阵方法存在忽视基聚类结果间差异性和基聚类质量的问题,该问题将导致所构建一致性函数划分能力变弱。借鉴粒度计算理论在处理不确定问题方面的优势,首先引入粒度距离对初始基聚类结果进行筛选,得到预处理基聚类结果;接着设计了一种新的共联矩阵计算方法,将归一化后的平均熵纳入到共联矩阵的元素计算之中,从而提出一种改进共联矩阵的聚类集成算法。多组对照实验结果表明算法的有效性和稳定性良好。(2)基于聚类集成一致性函数的分布式聚类算法现有的分布式聚类算法往往忽视局部聚类和全局聚类之间的联系,局部站点筛选出的核心点代表性不足,全局站点不能充分利用各个局部聚类的结果。本文分析了分布式聚类和聚类集成算法的关系,将核心点的选取和全局聚类问题转化为通过构建共联矩阵一致性函数并得到聚类集成结果的问题。在局部聚类时采用谱聚类的方式,通过知识粒度理论改进了样本间相似性计算方式,构建代表新权重的相似矩阵;在得到局部聚类结果后,通过度的概念结合改进的样本间相似性,定义了评价系数来筛选核心点,并将核心点传输至全局站点;在全局站点的聚类中,通过对核心点构建共联矩阵一致性函数完成聚类集成,进而得到全局聚类结果。多组对照实验表明,算法筛选出的核心点更具代表性,增加计算节点时算法的可扩展性良好。(3)分布式聚类计算云平台系统的研发围绕课题理论研究成果,以阿里云的Elastic Desktop Service为云平台,结合主流分布式计算框架和软件开发技术,设计并研发了一款以分布式聚类计算为核心功能,并辅以数据维护等功能为一体的分布式聚类计算云平台系统。系统总体分为用户层,服务层和云层,并创新性地在服务层中开发了服务引擎和数据聚类算法引擎。该系统集成了本课题理论研究提出的DCCEC分布式聚类算法以及常见的经典聚类算法,系统研发能够降低普通用户分布式聚类分析计算的门槛,并助推研究成果的推广与应用。
其他文献
将工匠精神融入高职院校思政课既是我国高质量发展的时代诉求,也是落实立德树人根本任务的必然选择,更是保障学生就业及个人发展的现实需要。通过梳理“工匠精神”与高职思政课教学的学理依据,探索实行“三课堂”联动教学提升工匠精神影响力,培养“德艺双馨”教师增强工匠精神示范力,构建“三位一体”评价体系强化工匠精神渗透力等多元路径,有效促进高职院校工匠精神的弘扬和培育,为培育担当民族复兴大任的时代新人奠定坚实基
期刊
为促进纳米纤维素材料在储能领域的应用,综述了以其为原料,采用静电纺丝和炭化技术以及2种方法结合制备用于电池和超级电容器等电极材料和隔膜材料的工艺。通过分析发现:静电纺纳米纤维素材料具有电化学性能优异、柔性较好等优点,可用作增强材料与导电材料复合使用;炭化处理纳米纤维素材料具有独特微孔结构,比表面积大等特点,其存在的形态主要有气凝胶、纳米纤维膜及薄膜等;重点分析了2种方法叠加制备纳米纤维素材料在储能
期刊
工匠精神是中华民族优秀传统文化的代表,是当代“工匠”开拓创新与精益求精的优秀品质。通过高校思想政治教育塑造大学生工匠精神是落实立德树人根本任务的重要使命。从有助于培养担当民族复兴大任的时代新人、促进大学生的全面发展和强化高校思政课教师的使命担当三个方面,论述工匠精神与思想政治教育融合的时代价值;从追求向“真”、内化于“心”和外化于“行”的统一,阐述工匠精神与思想政治教育融合的逻辑理路;从整合资源优
期刊
<正>本次疫情期间,吉林大学第一医院传承和践行伟大抗疫精神、白求恩精神,先后派出了近1900人支援一线,数千名职工坚守在医院救治后方,为打赢疫情防控阻击战、歼灭战贡献全部智慧和力量。加强领导强化责任吉大一院党委把疫情防控作为当前的首要政治任务和头等大事,切实把思想和行动统一到习近平总书记关于疫情防控工作的重要讲话重要指示精神上来,统一到党中央、省委决策部署和吉林大学党委工作要求上来,充分发挥领导核
期刊
工匠精神可以提高学生的实践能力和思政教育的质量。为实现工匠精神与思政教育的融合,需要注重实践教学,设计多元任务和组织校园活动,这些策略能够凸显出工匠精神的特质,促进高校思想政治教育的深入开展。因此,工匠精神融入高校思想政治教育的探究具有实践意义和理论价值,对培养具有创新精神和实践能力的高素质人才具有重要意义。文章旨在探究工匠精神融入高校思想政治教育的可行性和重要性。
期刊
LiNi0.5Mn1.5O4正极材料具有较高的放电理论比容量(~146.7 m Ah g-1),高的工作电压平台且不含钴,另外,具有三维的锂离子扩散通道等优势。但是,该材料自身仍存在易于电解液发生副反应,Mn的溶解等问题,造成了容量的衰减。所以,本论文在浆料合浆工艺研究基础上对LiNi0.5Mn1.5O4正极材料进行掺杂改性研究,实验结果表明达到了LiNi0.5Mn1.5O4材料的循环和倍率性能提
学位
随着经济社会的不断发展、教育事业的不断改革,将工匠精神培养与思政教学有效融合成为高职院校教学的重点内容之一。在日益激烈的市场环境中,社会对于具有工匠精神的人才需求越来越大,在高职思政教育中注重培养学生的工匠精神,无论是对学生还是高职院校发展而言都是非常必要的。分析工匠精神培养与高职思政课程融合的必要性,围绕工匠精神培养与高职思政课程教学的有效融合展开探究,提出打造高质量的师资团队、校企合作、在教学
期刊
桩基础作为土建施工中的关键部分,其质量直接影响工程整体质量,因此,深入研究桩基础技术是非常必要的。基于此,文章简要分析了建筑工程土建施工中的桩基问题,对桩基础技术进行探究,并研究了桩基础技术控制要点,以供参考。
期刊
<正>工匠精神是职业精神的典型代表,是从业者职业道德、能力及精神品质的重要体现,是从业者职业行为和价值取向的重要表现,同时是学校人才培养的思想基础之一。学校思政教育是落实素质教育、推进教育改革的重要路径,应致力于为学生学习、成人成才、未来就业提供价值引领。将工匠精神渗透于学校思政教育工作,能够提高思政教学的适用性和实效性,助力于应用型人才培养。对此,学校思政教育工作要从教学准备、课堂教学及实践活动
期刊
近年来,由于信息化时代进一步发展,信息呈爆炸式增加,社会开始进入信息过载的时期,推荐系统应运而生。由于传统的协同过滤推荐算法的实现过程十分依赖用户的评价信息,这导致在数据稀疏的情形下,推荐的有效性往往不尽人意。本文引入用户和项目的质量这一隐含的特征信息,从用户评分分布和消除选择偏差的角度对用户和项目的质量信息进行研究。具体地,用户评分分布的研究从用户评分和项目质量的一致性以及用户评分数值分布两个方
学位