论文部分内容阅读
近年来,深度学习技术已成为人工智能领域的研究热点,各种深度模型广泛应用于各个领域。深度神经网络模型是一个模拟人类大脑学习机制的过程,采用含有多个隐层的神经网络对图像、文本、语音等数据进行特征学习,然后将学习到的特征与分类器进行结合从而进行分类识别等。论文以自编码神经网络为研究对象,以文本分类为研究目的,主要从两个方面提高网络训练速度及文本分类准确率。主要研究工作如下: 首先,针对自编码神经网络训练过程中,各层神经元之间的Sigmoid激活函数反向传播梯度易消失的问题,在原有的SAE算法中引用了一种新的激活函数ReLU,从而减少了计算量,提高了网络的训练速度;其次,针对自编码神经网络学习算法在形成特征表达时需调节优化大量参数使网络训练时间加长、BP算法易陷入局部最小的问题,将逐层贪婪初始化思想引入到稀疏滤波的学习算法中,提出了基于Layer-wise思想的稀疏滤波特征学习算法。通过在Reuters-21578文本分类标准测试集上的实验验证,表明在SAE算法中使用ReLU作为激活函数以及所提出的算法可以有效地提高网络训练速度,并提高网络的泛化能力和文本分类的准确率。