近年来,人工智能界见证了深度学习算法的崛起。利用网络深度的优势,深度学习在诸多领域都展现了优异的性能,在某些领域更是超越了人类的水平。但随着研究的深入,深度学习也逐渐面临诸多挑战,主要有1):随着深度的不断增加,梯度消失问题在深度学习中逐步凸显,不仅使得深度学习的训练难度陡增,更限制甚至恶化了其性能表现;2)深度学习特别依赖海量数据的支持,然而,为其准备海量数据的过程却异常耗时耗力,致使深度学习普遍面临着数据不足的问题。针对上述两大问题,本文以提高文本分类中深度学习的性能为总目标,分别提出如下三大创新点予以回应:1):针对深度学习中的梯度消失问题,本文通过融合Highway Net和Dense Net这两种深度神经网络架构的方式,提出了称为Highway-DC的新式深度神经网络架构。Highway-DC利用Highway Net中的Highway算法来控制Dense Net中的密集连接(Dense Connection),从而成功地将这两大架构合二为一。此外,本文进一步提出了一种改进的Highway算法,命名为Highway II,其可以保护每层网络输入与输出彼此的独立性。以此为基础的Highway II-DC表现优异,在精度、收敛速度和最大可用网络深度上相较Highway-DC和Dense Net都展现出较大优势。2):针对深度学习面临的数据不足问题,本文提出了层次数据增强法(Hierarchical Data Augmentation,HDA)。首先,HDA利用文本的层次属性,分别从词与句这两个层级上对文本进行数据增强。其次,在这两个层级上,HDA使用注意力机制(Attention Mechanism)来抽取文本中重要的一部分词语/句子,从而实现对文本的缩写。实验结果表明,HDA在两个层级上都生成大量且优质的增强数据,且算法耗时较短。相较现有几种数据增强法,HDA的优势也较突出。3):为提高现有的层次注意力网络(Hierarchical Attention Network,HAN)在获取文本的层次属性上的表现,本文提出了层次软硬注意力网络(Hierarchical Soft-Hard Attention Network,HSHAN)。HSHAN分别利用软注意力机制(Soft Attention Mechanism)和硬注意力机制(Hard Attention Mechanism)来改善原HAN中获取文本的词级与句级属性的能力。实验结果表明,在文本分类任务上,HSHAN的表现相较HAN有一定提升。