基于稀疏贝叶斯的半监督超限学习机分类算法研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:carlos_yu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如何有效地挖掘和学习海量的无标记数据中的规律,让用户快速找到需要的信息,是当前机器学习领域的一个研究热点。半监督学习利用少量标记数据和大量无标记数据的综合信息来提高分类算法的准确率,引起了学术界的广泛关注。然而传统半监督分类算法的计算复杂度较高,通常为O(N3),N为输入样本的个数,如拉普拉斯支持向量机。超限学习机是一种单隐层前馈神经网络,具有较低的计算复杂度。为了提高半监督算法的计算效率,人们将半监督学习引入到超限学习机框架中,提出了半监督超限学习机。半监督超限学习机继承了传统超限学习机的速度优势,又能充分利用无标记样本信息。但是,半监督超限学习机的分类准确率对隐层节点的数目比较敏感,在特定问题上为取得较好的分类准确率通常需要使用大量的冗余隐层节点,增加了模型的复杂度。本文针对半监督超限学习机在稀疏性和分类准确率上的不足,在稀疏贝叶斯和半监督超限学习机框架的基础上,提出一种基于稀疏贝叶斯的半监督超限学习机分类算法。为了利用无标记样本数据的流形(Manifold)信息,同时使模型更加稀疏,该算法在网络输出层的权值参数上定义稀疏流形先验。模型在训练阶段自适应地剔除冗余的隐层节点,该算法降低了模型的复杂度和分类准确率对隐层节点数量的敏感性。在多个数据集上的实验结果表明:与当前主流的半监督分类器相比,本文提出的算法可以取得较好的分类性能,同时弥补了半监督超限学习机在稀疏性和稳定性方面的缺陷。综上,本文的工作和贡献主要体现在以一下几个方面:(1)针对基于半监督超限学习机框架的分类算法在稀疏性和稳定性上表现不足的问题,本文通过稀疏贝叶斯学习方法来学习模型参数,在学习阶段自动剔除冗余隐层节点,增强半监督超限学习机模型的稀疏性和稳定性。因此,本文算法既具有半监督超限学习机的速度优势,又具有稀疏贝叶斯学习算法的稀疏性。(2)传统半监督超限学习机采用最小二乘求解模型参数,容易导致过拟合,本文算法通过最大化模型的边际似然概率可以在一定程度上降低模型过拟合的可能性,增强模型的表达力,模型具有更好的兽棒性。(3)本文算法相比半监督超限学习机具有较低的计算复杂度。本文算法的时间复杂度为O(L3 + NlogN),其中L为隐层节点的个数,N为样本数据的个数,Nlog 是构造图的拉普拉斯矩阵的时间复杂度,L3是计算权值参数w的时间复杂度。因此,相比半监督超限学习机中O(N3)的时间复杂度,本文算法训练时间更短。(4)在UCI1标准数据集上的实验结果表明,相对对比算法,本文基于稀疏贝叶斯的半监督超限学习机分类算法具有较好的稀疏性能,并且,在分类准确率方面与当前主流的半监督分类算法相当。其次,在真实的邮件分类数据集上对本文提出的算法进行验证,实验结果表明,本文提出的算法同样具有较高的分类准确率和良好的稀疏性能。
其他文献
研究背景:高血压目前仍是危害人类健康的全球性重大疾病之一,其患病率仍在不断增加,控制率低,死亡率高,是心血管疾病发生发展和死亡的主要原因,更是导致慢性肾脏病进展的第二大病因,慢性肾脏病又可加重高血压进展,两者关系密切,互为因果。恶性高血压是高血压的一种严重形式,又被称为高血压急症,会导致严重的心、脑、肾等靶器官的损害,预后差,其对肾脏的影响包括血肌酐升高,尿蛋白增加,甚至出现肾功能衰竭,肾功能衰竭
目的:探讨胫腓骨中下段双骨折外固定支架固定术后应用骨折端微动数字化测控系统进行早期负重负重锻炼对骨折愈合的影响,研究骨折端“动”与“静”的关系,为促进骨折早期愈合
背景:后路椎体间融合手术治疗退变性腰椎失稳症是临床应用较为普遍的一种方法。经典的术式是双枚椎间融合器进行椎间融合,其要求操作空间大,术野开阔,双侧关节突难以保留,容
软件定义网络(SDN)提出数据平面和控制平面分离的思想,解决了传统网络不能解决的高可靠性、扩展性和灵活性等方面的问题,但其在业务方面创新的同时也带来了新的安全方面的挑
目的:研究棘突间动态固定装置Coflex在预防融合后邻近节段退变中的应用价值。方法:对2015年1月至2017年1月在我院应用PLIF以及Topping-off手术治疗的30例患者的临床资料进行
随着互联网快速成熟的发展,从互联网获取信息已经成为人们日常生活中获取信息的重要渠道之一。伴随着2G网络,3G网络,4G网络的逐代更新,网络的访问速度也在不断的提升,近年来
近年来,海域数据通信需求日益增加,但现有的海域通信网络和技术无法满足用户对系统经济高效的需求。与此同时,陆地通信系统正蓬勃发展,TD-LTE日益显示出在数据带宽方面的优势
赵球长期从事美术教育与艺术创作。他不仅以山水画艺名于山西,而且教书育人、提携后进,是山西省著名的美术教育家和山水画家。本论文主要分成两部分,第一部分阐述了赵球山水
手写输入是智能手机用户最重要的信息输入方式之一,大量用户敏感信息通过手写方式输入到智能手机中,例如,聊天记录、密码和会议记录等。与此同时随着个人隐私泄露事件不断出现,智能手机用户也逐渐重视自我隐私数据保护,开始对基于常规方式(恶意软件)的隐私泄露有所防范。但是用户目前对于一种更隐蔽的隐私泄露途径缺少足够的防范意识——基于手机侧信道分析的个人隐私信息推测。为了让智能手机用户意识到这类隐私泄露方式对其
目的:探讨Ribbed+T.O.P.与Ribbed+Betacup假体在初次全髋关节置换术中的应用并观察其近期临床疗效,为临床选择两种假体提供可靠的依据支持。方法:随机选择2015年01月至2016年