近年来,随着自动语音识别(ASR)技术水平的提高,从ASR系统输出得到的口语转录文本的处理研究,也随之受到了广泛的关注。由于口语转录文本并不是书面化的文本,从而会带来一系列严重的问题。一方面,口语转录文本是由ASR系统输出生成的一串字符流组成的,缺少标点符号和句子边界信息。这就是导致了读者在阅读转录文本时,很难找到一个句子的起点和终点,从而大大增加了句子语义的理解难度。另一方面,口语转录文本包含了大量的不流畅现象。这些不流畅现象既不符合句子的语法,也没有实际语义信息,这样不仅会对后续的自然语言处理任务带来极大的阻碍,而且也会导致读者难以流畅地阅读口语转录的文本。因此,我们有必要针对中文的口语转录文本进行标点符号的预测,以及对其中含有的不流畅词进行检测。本文主要研究了针对中文口语文本进行标点符号预测(Punctuation Prediction)和不流畅检测(Disfluency Detection)。具体的研究工作内容包括:1.针对中文口语转录文本的标点预测研究,本文提出了一种结合深度预训练和传统循环网络的标点预测方法。该方法是利用序列标注思想以构建标点预测任务的解决方案。具体来说,首先通过引入双向的Transformer编码器来对传统的BLSTM模型进行扩展,利用其强大提取上下文语境化特征的能力,从而对标点进行预测。实验结果表明我们标点预测方法的有效性,并且与之前的最好的方法相比不仅具有更高的预测精度,更节省成本。2.由于在中文口语转录文本的存在许多不流畅现象,影响了标点预测的性能,所以我们提出了基于深度预训练网络的联合不流畅和标点预测的方法。该方法的目的是利用两种标点和不流畅词的特征,在同一个基于深度预训练的序列标注模型上进行训练预测,从而完成相互提升对方任务的性能。同时,我们标注了不流畅词和标点符号联合标签的数据集。实验结果验证了该方法的有效性。