基于改进的SAE和稀疏滤波算法的文本分类研究

来源 :内蒙古民族大学 | 被引量 : 0次 | 上传用户:hsqcn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度学习技术已成为人工智能领域的研究热点,各种深度模型广泛应用于各个领域。深度神经网络模型是一个模拟人类大脑学习机制的过程,采用含有多个隐层的神经网络对图像、文本、语音等数据进行特征学习,然后将学习到的特征与分类器进行结合从而进行分类识别等。论文以自编码神经网络为研究对象,以文本分类为研究目的,主要从两个方面提高网络训练速度及文本分类准确率。主要研究工作如下:  首先,针对自编码神经网络训练过程中,各层神经元之间的Sigmoid激活函数反向传播梯度易消失的问题,在原有的SAE算法中引用了一种新的激活函数ReLU,从而减少了计算量,提高了网络的训练速度;其次,针对自编码神经网络学习算法在形成特征表达时需调节优化大量参数使网络训练时间加长、BP算法易陷入局部最小的问题,将逐层贪婪初始化思想引入到稀疏滤波的学习算法中,提出了基于Layer-wise思想的稀疏滤波特征学习算法。通过在Reuters-21578文本分类标准测试集上的实验验证,表明在SAE算法中使用ReLU作为激活函数以及所提出的算法可以有效地提高网络训练速度,并提高网络的泛化能力和文本分类的准确率。
其他文献
陶艺课程是学校美术教育体系中的一门特色课程,其在陶冶学生情操,强化学生素质能力发展方面具有重要的作用与意义.如何从创新思维视野出发,实现陶艺课程教学的改革,并把创新
学位
如果不关注用户,深度新闻不仅成不了传统媒体的救命稻草,还可能是新媒体巩固“篡位成果”的有力武器,其原因关键在于新媒体更能满足用户的需求。新媒体自身的特点更加适合与
模糊控制是以模糊集合论、模糊语言变量以及模糊逻辑推理为基础的一种控制策略,属于智能控制的范畴,它具有传统控制无法比拟的优势。如何判定一个模糊控制系统的稳定性以及怎样
“鲁枣13号”是金丝小枣自然实生品种,为鲜食加工枣新品种。2012年12月通过山东省林木品种审定委员会审定并定名。该品种果实短圆形,两端齐平,平均纵径2.20 cm,横径2.30 cm;
在无界区域上考虑了如下具有线性记忆项的半线性耗散波动方程其中N≥3,δ>0,并φ(x)-1=:g(x)∈LN/2(RN)∩L∞(RN)。为了克服在无界区域中与微分算子φ(x)△的非紧性有关的困难,引
货币国际化是一个国家经济良性发展到一定阶段的必然趋势。一国经济的实力不仅表现在国内消费需求是否旺盛,产业发展是否可持续,更表现在国际贸易交往中所占的地位。与世界贸易
本文利用上下解方法、极值原理以及径向解法等对半线性椭圆型方程的大解的存在性及非存在性进行了研究。   本文共分成四章。   前言部分简述了该问题的研究背景以及最
利用有限元方法近似求解微分方程,无论在实际应用还是在理论研究中都有着深远的影响.由于实际问题对数值模拟方法的需求,有限元方法得到了迅速发展,并出现了许多非标准有限元方