近些年来,随着互联网的飞速发展,各种社交平台应运而生,由于这类平台往往言论自由且难以管控,导致网络上出现了大量的不文明文本信息。它们不仅影响了人们正常健康的交流,更不利于营造良好的网络环境和国民素质的提高。为了塑造健康、文明的网络氛围,需要加强对网络上不文明文本的监管工作,而自动识别不文明文本是监管工作的首要任务。目前,对于不文明文本的自动识别主要是通过文本分类方法实现的。本文研究了基于支持向量机模型的百度贴吧不文明帖分类方法,具体内容包括以下两个方面:第一:由于没有合适的百度贴吧数据集,尤其是缺少一定数量的百度贴吧不文明帖子,构建了基于百度贴吧的不文明数据集。本文首先使用网络爬虫技术依据不同的主题爬取了大量百度贴吧的帖子,根据定义相应的规则将对研究毫无意义的帖子进行删除;再通过建立的不文明词表筛选出具有不文明倾向的帖子;最后采用人工标注的方式对具有不文明倾向的文本进行标注,从而构建出基于百度贴吧的不文明帖的数据集。第二:研究百度贴吧不文明帖的文本分类方法,将支持向量机作为分类模型,根据词的卡方统计值进行特征项的选择。在完成百度贴吧不文明帖数据集的构建后,把数据处理成与分类模型相对应的格式并训练分类模型。由于构建的百度贴吧不文明帖的数据集规模较小,本文使用了支持向量机模型,其专门针对文本数量较小的情况,将文本通过计算抽象成向量化的文本数据,提高了分类的精确率,解决了以往需要大量样本数量的问题。LibSVM作为一个简单、易于使用的快速有效的支持向量机模式识别与回归的软件包被应用于本文。对于使用向量空间模型表示分词处理后的文本出现空间维数和计算量增大的问题,使用卡方统计量进行降维处理,首先计算所有词的卡方统计值,再选择卡方统计值最大的N个词作为候选特征向量,最后将所有类别的N个特征向量进行合并得到最终的特征向量。根据最终的特征向量输出所有文本的量化格式并对分类模型进行相应的训练和预测。