随着科技的不断发展,文本信息在互联网中的数量急剧增加,方式更加多样化。商业、政府及社会组织为了了解大众的喜好、社会舆论的方向,对文本内容进行情感分类迫在眉睫。文本情感分类即通过计算机将文本数据分为正面、负面两种类别,通过类别判断人的情感倾向,继而了解人们对某事物的看法。考虑到全球粤语的使用群体比较庞大,了解粤语使用地区民众情感倾向有着重大的意义。目前中文简体文本和英文文本的情感分类已经具有相对较成熟的技术和方法,但尚未有关于粤语文本情感分类的研究成果,所以很有必要对粤语文本情感倾向进行研究。粤语文本中的文字组成比较复杂,且情感类型多变,受到繁体字、变体字、粤语特有的语气词以及粤语语序语法等的干扰,导致常见的方法具有一定的局限性,无法做到很好的对粤语文本进行情感分类,所以本文着重对粤语文本情感分类方法进行研究。本文研究了传统机器学习方法中以支持向量机为基础的粤语文本情感分类模型,采用卡方检验从文本中提取词特征,期望通过训练数据集得到能够将粤语文本有效分类的模型,但从最终实验结果看出该方法分类效果不太理想,本文详细的分析了具体原因,并提出改进方案,采用深度学习方法解决该任务。本文研究了Text CNN模型,通过Text CNN模型解决粤语文本情感分类问题,尽管实验结果相较于传统机器学习方法而言有明显提升,但仍达不到期望效果。本文总结了该方法的优缺点,拟采用基于预训练BERT模型去完成粤语文本情感分类任务。本文对BERT模型的输入预处理和由预训练与Fine-Tuning模式组成的两阶段训练方法进行了深入理解;对BERT模型的Transformer架构进行了研究;同时对Transformer架构中核心的编解码器部分采用的多头自注意力机制进行了深入探究。为了使粤语文本情感分类效果达到最优,本文对BERT模型进行了改进。首先为解决BERT-2中出现的粤语未登录字的问题,设计了基于词典变化的粤语文本预训练模型参数自适应方法;其次设计了对某一特定领域采用基于统一预训练模型的粤语文本表示构建方法,构建了基于三阶段预训练BERT模型(BERT-3)的粤语文本分类方法,通过两次迁移学习完成粤语文本情感分类任务;最后提出了基于粤语辅助句子对结构的BERT粤语文本下游任务输入表示方法,通过构造粤语辅助语句将情感分类任务转换为二值化句子对任务,从而解决粤语文本训练数据有限和任务感知问题。在实验阶段,本文对设计的六种粤语文本情感分类模型使用音乐评论、电影影评、食物评论三个领域的粤语文本数据集进行了对比分析,结果表明本文改进的三阶段预训练BERT模型(BERT-3)与基于粤语辅助句子对结构的BERT-3-AA和BERT-3-APA粤语文本分类模型相较于原生的两阶段BERT模型(BERT-2)在分类结果评价指标上有一定的提高。BERT-3-AA和BERT-3-APA准确率最高91.3%,F值最高为91.0%,BERT-3准确率最高为89.6%,F值最高为89.0%;BERT-3-AA和BERT-3-APA模型在BERT-3模型的基础上准确率提高为1.7%左右,F值提高为2.0%左右。此外,BERT-3-AA和BERT-3-APA在不同的数据集上分类效果各有优劣。