基于Hadoop架构的多标记算法研究

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:huming_72
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分类是通过样本数据训练一个模型,来对未知的数据进行类标签的判断。经典的分类算法都是由单标签组成,分类器只需要判断一个样本是否属于这个类标签。但是在真实世界,大多数的情况是一个对象属于多个类标签,这就是多分类问题。多分类应用广泛,在基因识别、图像识别等领域有广大的应用。但是目前许多方法精确度不够高,速度慢,特别是面对海量数据,传统多类标算法训练速度慢,效率低下。针对上述问题,本文结合Hadoop开源分布式计算平台,将算法并行化处理来提高效率。本文主要做了以下的工作:1、本文利用样本特征相似度来确定类标间的相互关系。通过训练一组支持向量机形成基分类器,然后计算各个类标数据的中心点,通过计算未知数据与相关中心点的相似度来确定类标的关系,然后在Yeast、scence和emotion数据集上进行对比试验,证明本文提出算法的有效性。2、受到随机森林的启发,采用Bagging抽样的方法,提出了随机SBR算法。随机SBR算法由许多SBR分类器组成,每一个SBR分类器都是独立的,通过训练随机多个SBR分类器,然后投票决定类标签。这样构建一个分类器,从而达到将弱可学习的分类器变成强可学习的分类器。3、最后,根据随机SBR的缺点即每次都要训练多个基分类器,结合MapReduce并行编程框架,提出了随机SBR并行化的方法。通过对建立多个随机SBR分类器并行的构建,提高了算法的运行效率。然后在新闻数据集和Yeast数据集上进行实验,发现并行化的算法在数据量很大的情况下,具有良好的可扩展行,相对于随机SBR具有良好的加速比。
其他文献
近年来能源供应问题形势严峻,微电网发电技术备受关注,微电网可为负荷提供符合需求的电能,实现分布式电源的灵活控制。微电网包括并网模式和孤岛模式,孤岛模式下微电网多采用
本文运用问卷调查法和课堂观察法对泰国Nakprasith学校汉语教学现状以及高中汉语专业班交际法使用情况进行调查分析,同时通过对Nakprasith学校的泰国本土汉语教师及志愿者的访谈,了解Nakprasith学校汉语教师应用交际法的现状及其对交际法运用于汉语教学的态度,并将交际法的实际理论应用于泰国Nakprasith学校汉语专业班的教学之中。根据实际教学情况总结概括出交际法应用于教学中的优势、
随着经济的发展,我国不断加大对基础设施建设的投入。高速公路、铁路、地铁等基础交通的建设打通了国家经济发展和城市建设的壁垒,为国家经济发展注入了活力,为城市居民的生活提供了便利。盾构机以其高效安全、低扰动、适应多种地质等多种优点成为了我国交通建设的主力机械。采用盾构法施工前需要在前期对地质情况进行勘探,掌握地质信息以便选取合适的盾构机型,以及提供合理方案控制盾构机施工。但是由于地质信息复杂多变且难以
前言2017年6月22日,浙江杭州某高层住宅发生火灾,案件发生之后,"消防救援""消防设施运行不正常""消防管理不到位"等问题在互联网媒体推波助澜下持续发酵,引发整个社会大讨论
会议
随着我国交通建设不断发展,道路健康状况越来越受到重视,对健康监测传感器系统要求日益提高。而现有的传感器尚存在体积大、模量高、兼容性差的缺陷,这已成为道路健康监测的
大气CO_2浓度升高以及由此引发的极端降水减少等气候变化直接或间接的影响着药用植物的生长、发育以及药用成分的积累。贵州省是我国喀斯特地貌典型省份,整体呈现暖干化态势,是典型的干旱频发区。虎耳草(Saxifraga stolonifera Curt.)是贵州省重要的民族苗药之一,具有广泛的药理作用。研究CO_2浓度升高和降水减少及其交互作用对虎耳草的影响,将为气候变化背景下虎耳草栽培管理提供理论依据
目前CDN(Content Distribution Network)网络提供商主要将其重心放置于对QoS(Quality of Server)服务质量的保证,例如保障延迟时间、网络带宽以及网络丢失率等指标。虽然CDN
随着2022年冬奥会的筹办,我国冰雪运动的发展正在火热进行中,滑雪运动作为冰雪运动的一部分,也得到了有力发展。滑雪场作为滑雪运动的载体,其良好的经营是推动滑雪运动普及与发展的基本前提,而市场营销是决定滑雪场经营水平的重要因素,所以科学的市场营销策略制定与实施对滑雪场长期可持续发展、滑雪运动普及、滑雪产业发展都有重要意义。本文以昆明融创雪世界为研究对象,运用文献资料法、专家访谈法、实地考察法和问卷调
学位
目的:调查北京中医药大学东直门医院冠心病重症监护室(Coronary Care Unit,CCU)患者急性肾损伤(Acute Kidney Injury,AKI)的发生情况及中医证候特点。方法:回顾性研究北京中
光学微腔的结构有着多种类型,其中法布里-珀罗(简称F-P)腔是最基本的结构,也是最早被制作和研究的。该结构最大的特点是腔长连续可调,腔内也便于放置材料,因而便于制作开放式