互联网和物联网的全面化加速了人类进入人工智能时代,随之而来的各种终端设备上产生了大量的文本数据,将文本数据信息化需要很好的表征这些文本。文本表示是从文本中提取和学习其蕴含的语义信息,并将文本表征成计算机可运算的数值向量,该任务作为自然语言处理领域中所有下游任务的关键环节,如文本分类、信息抽取、机器翻译、自动问答等任务,因此近年来引起了诸多学者的关注。文本主要有词、句子、文档三种存在形式,现有的文本表示方法主要有传统的文本表征算法和基于神经网络的文本表征算法两个流派的方法论。本文基于深度神经网络构建了三个针对不同语言、不同领域的轻量级文本表征算法,并结合文本分类下游任务构建了端到端(end-to-end)的模型,具体如下:1)针对英文语料,探究了字符亚词信息给文本表征带来的提升。基于CNN网络,引入了单词的字符信息,并将卷积网络中的池化操作优化成Self-Attention网络,构建了基于字符的分层注意力卷积模型(E-HAC)。在通用的6个文本分类数据集上进行了实验,与baseline CNN模型效果相比,准确率均有所提升,尤其在MR数据集上提升近2个百分点。2)针对中文特定领域,探究了笔画亚词信息给文本表征带来的增益。基于CNN网络,引入词语的笔画信息,并将卷积网络中的池化操作优化成自注意力机制,建立了基于笔画的分层注意力卷积模型(C-HAC)。在我们构建的法律咨询专业问题分类数据集,准确率要优于baseline CNN模型4个百分点。3)在现有GRU结构基础上,受二阶泰勒展式思想和Self-Attention思想的启发,对现有GRU的结构进行改进,构建了Attention-based 2rd-GRU模型。在中文特定法律咨询专业问题分类任务上,相比于Attention-based GRU基准模型在准确率上提升了约3个百分点。