基于Spark的模糊聚类算法实现及其应用

来源 :计算机技术与发展 | 被引量 : 0次 | 上传用户:andykiteelxu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为软聚类的代表性算法,模糊聚类算法FCM能客观地处理带有模糊性的聚类问题。为了适应对大数据进行实时和准确地聚类的需求,提高FCM算法对大数据的聚类效率,设计了FCM基于大数据计算平台Spark的并行化实现方法。该方案用HDFS对底层数据进行分布式存储,用RDD机制进行计算过程中的数据转换,用持久化技术实现中间结果的重用。为了检验所设计的并行化FCM算法的有效性,将其应用于入侵检测系统中,首先对KDDCUP99数据集进行预处理,然后分别在单机和Spark集群上,针对预处理前后的KDDCUP99数据集,用该
其他文献
目的:对江苏省医院医务社会工作和志愿服务现状进行分析,为完善管理体系和服务模式提供政策建议。方法:设计调查问卷,对江苏省医院协会医院社会工作暨志愿服务工作委员会全部
本文努力探索乡土音乐教材的编制模式及实施问题。乡土音乐教材的编制应以《国家课程标准》为理论依据,以《准标》的基本理念为指导,立足于“学生为本”的基本观点,充分体现当代
随着我国资本市场的发展,信用评级将成为一种不可或缺的金融中介服务。我国的信用评级行业发展至今初具规模,但在监管方面仍存在诸多的问题,我们应该借鉴次贷危机后欧美等发达国
智慧法院建设是在新一轮司法改革背景下提出的一项覆盖全国各级人民法院的创新工程,旨在利用互联网技术和人工智能技术,结合人民法院工作实际,为人民群众提供更好的司法服务,
一、问题的提出在当今中国,如果你要问:什么是社会公益事业?也许大多数人无法给它下一个完整的定义,但如果你要问:您知道希望工程吗?恐怕绝大多数人的回答都是肯定的.的确,从
目的:研究数字化影像教学资源库对于影像诊断实训的作用与效果。方法:选取我校采用常规实训的34位实习学生,将其作为A组,另选取在此基础之上采用数字化影像教学资源库的34位
增加初步设计深度实施概算定额方案电力规划设计总院陈立新电力行业建筑工程概算定额编制方案审查会于1994年2月22日至24日在哈尔滨市召开,这标志着概算定额的编制工作进入实质性实施阶
分析苦参转录组中的简单重复序列(SSR)位点信息,为开发分子标记奠定基础。利用Fastqc软件对苦参转录组测序的原始读长(reads)进行质量评估,再用Trimmomatic软件对reads质量较
宫颈糜烂是已婚妇女常见病、多发病,也是诱发宫颈癌的高危因素之一。2005—05—2010-03,我们采用射频联合纳米先锋栓、湿润烧伤膏治疗宫颈糜烂223例,并与单纯射频治疗225例、射
局部解剖学是一门实践性很强的医学基础课程,它是从基础医学向临床医学过渡的桥梁和纽带。传统的教学方法已不能满足当前培养新型医学人才的教学要求。微课作为一种新型的网