论文部分内容阅读
【摘 要】随着网络快速发展，催生大数据时代的到来。网络信息的泛滥，带来了很多“信息垃圾”，严重影响青少年网民的人生观、世界观和价值观。本文讨论了网络文本信息过滤的基本流程、过滤关键技术和方法，以及过滤效果评估标准和常用的中文语料库。
【关键词】信息过滤；文本表示模型；分词；特征选择；文本分类
1.前言
根据中国互联网络信息中心（CNNIC）第34次中国互联网络发展状况统计[1]，截至2014年6月底， 我国网民规模达6.32亿，半年共计新增网民1442万人。互联网普及率为46.9% ，较2013年底提升了1.1个百分点。
根据CNNIC的统计报告，在我国众多的互联网用户中，学生群体是网民中规模最大的职业群体，占比为25.1%，并且中学生人数占据较大比例。网络以其用户数量庞大，方便快捷等特点，成为了人们信息获取的主要途径。伴随着大数据时代的到来，网络向人们的传统生活方式和学习方式发起挑战。低成本快捷的网络信息为我们提供了极大的方便，同时也带来了很多“信息垃圾”，比如：色情、暴力、违法诈骗、赌博等。这些不良信息正在侵蚀社会的道德，挑战现有的法律。严重影响了人民群众的日常生活，特别是青少年网民的人生观、世界观和价值观。将这些不良信息过滤掉，还大家一个健康的网络空间。
2.网页文本信息过滤过程
1982年，信息过滤[2]（Information Filtering）由Denning于1982年提出。网络信息过滤，主要是指根据用户的信息需求，利用一定的工具从大规模的动态信息流中自动筛选出满足用户需求的信息，同时屏蔽掉无用的信息的过程。网络文本信息过滤流程如图1所示：
图1 网络文本信息过滤基本流程
3.信息过滤关键技术分析
3.1数据包捕获
常用的数据包捕获技术有Winsock2 SPI技术和Winpcap技术，在Windows 操作平台上来实现对底层包的截取过滤。用户在使用Winsock2 SPI技术进行数据封包截获时，需将自己编写好的SPI程序安装到系统上。截获了网络封包之后，需要对网络封包进行协解析，然后回调系统函数，由系统函数完成网络传输功能。而WinPcap[3]是Win32 上的第一个用来捕获数据包的开放系统软件包，它能获取网卡列表信息、捕获原始的数据包、设置filter，只捕获自己感兴趣的数据包，还可以统计网络流量。
3.2文本表示模型研究
目前常用的文本表示模型[4]有布尔逻辑模型、向量空间模型、概率模型、潜在语义索引模型等。
3.2.1布尔逻辑模型
布尔逻辑模型也称为完全匹配模型，是一种相对简单的信息过滤模型。在过滤时，它以文档中是否包含关键词来作为取舍的标准。利用布尔逻辑模型进行信息过滤，就是给定一系列的具有二值逻辑的特征变量。这些变量是从文档中抽取出来的，用来描述文档的特征。通过布尔操作符把表示文档信息的特征变量构成布尔表达式，此即为一查询。当在一个查询中，两个查询关键词之间用布尔操作符AND（与）相关联，则表示对于这两个关键词，应该都包含在非友善文档中。如果两个查询关键词之间用布尔操作符OR（或）相关联，则表示对于这两个关键词，其中有一个包含在查询文档中即可。
基于布尔逻辑模型的信息过滤技术特点是实现容易、用戶操作方便、易接受，而且查全率比较好。但布尔模型的结果非真即假，限制性过强，会导致漏判。Gerard Salton给出了扩展的布尔模型信息过滤系统，增加了关键词相对于查询或文档的重要程度。
3.2.2 向量空间模型
向量空间模型（VSM）是由Salton提出的关于文本表示的模型，使用由词语构成的向量表示文档信息与过滤信息，并在Cornell研究出基于向量空间的SMART实验系统。该模型已被人们普遍认为是一种非常有效的信息过滤模型，它以特征项作为文本表示的基本单位，特征项可以由字、词或短语组成。所有的特征项构成特征项集。一篇文献可以表示为一个向量，即可被定义成一系列子项的组合，该向量的维数是特征项集的个数，并且根据统计结果，该向量的每个分量都被赋予一个权值以表明它对于这篇文献的重要性。
向量空间模型具有自然语言界面，易于使用。该文本表示模型的缺点是：假设所有检索词在向量空间中是正交的，即检索词是相互独立的，但现实情况往往并不是这样。
3.2.3潜在语义索引模型
潜在语义索引模型（LSI）已被广泛地应用到信息过滤领域中，它是利用字项与文档对象之间的内在关系形成信息的语义结构。这种语义结构反映了数据间最主要的联系模式，忽略了个体文档对词的不同的使用风格。主要挖掘文档的潜在的语义内容，而不仅仅是使用关键字的匹配，是对字项文档矩阵使用奇异值分解（SVD）方法来实现的，把小的奇异值去掉。
无论是在LSI还是在关键字向量匹配方法中，文档都是以多维向量来表示的。关键字向量中的值表示字在文档中出现的频率，LSI向量中的值是通过SVD分解得到的缩减了的值，内容相近文档的向量也是相近的，这就是信息过滤中的本质所在。
3.3分词与特征选择
3.3.1 分词技术
由于中文文档没有明显的分隔符的存在，所以在特征提取之前要首先进行分词处理。目前常用的分词算法大致有三种：基于字典的字符串匹配方法、基于统计的分词方法、基于规则和基于统计相结合方法。其中第三种方法可以解决汉语中最常见的歧义类型：单字交集型歧义，并对人名、地名、机构名、后缀、动词/形容词重叠、衍生词等词法结构进行识别的处理，基本解决了分词所面临的最关键的问题，而且由于优秀的辞典结构和算法设计，分词速度非常快。
3.3.2 特征选择
分词将文档表示为词的形式，训练集中就包含了大量的词汇，需要选择那些有代表意义的词作为特征。先对文本进行预处理，去掉那些常用的对分类用处不大的词（称为停用词），然后采用某种特征选择方法对所有的词排序，选出排在前面的一定数量的词作为特征。常用的特征选择方法有：文档频率、互信息、信息增益和CHI统计方法。 3.4文本分类方法研究
3.4.1 Racchio方法
Racchio方法是基于向量空间的方法，它根据算术平均为每类文本集生成一个代表该类的中心向量，然后在新文本来到时，确定新文本向量，计算该向量与每类中心向量间的距离（相似度），最后判定文本属于与文本距离最近的类。
3.4.2 KNN算法
KNN方法是一个经典的基于统计的方法，它的算法思想是：给出一个测试文档，从训练文档中找出与该文档最近（用相似度度量）的k个文档，用这k个邻域文档所属的类别作为测试文档的候选类别。邻域文档与测试文档之间的相似度被用作临近文档所属类别的权值，如果k个最近邻域文档中有多个属于同一类别，则将这几个邻域文档的相似度值增加，它们的总和作为该类别关于测试文档的权值。通过对候选类别的权值进行排序，得到一个与测试文档有关的有序表。最后使用阈值对权值做界定，得到测试文档的类别结果。
3.4.3 Na?ve Bayesian方法
Na?ve Bayesian方法[5]是一种概率方法，它利用先验概率的联合概率计算出后验概率，并且根据样本集构造分类标准，分类标准根据测试样本的后验概率对测试样本进行分类。此方法是建立在所有的关键词在文档中出现的概率相对独立的基础上的，要判断一个未归类的文档的类别，可以通过计算的概率来完成。表示由该文档的单词与向量模式的匹配情况而决定该文档属于类别的概率。Bayesian概率公式如式1所示。
（1）
式1表明可由先验概率来更新后验概率，因此可直接把后验概率作为网络过滤依据。
3.4.4 支持向量机
支持向量机（SVM）是由N.V.Vapnik等人于1992年至1995年正式提出的。SVM方法是从线性可分情况下的最优分类面提出的。通过将文本表示为向量的形式，就可以利用支持向量機的方式找到最优分类面，从而能够对文本进行分类，由于支持向量机是在两类问题的背景下发展来的，所以要想使用支持向量机处理多类问题，必须进行相应的处理，最常见的一种方式是：将一类文档作为正例，其他作为反例，从而将多类问题转化为两类问题进行处理。
4.实验评估标准
4.1 评估指标
实验效果的评价指标有文本分类的准确率与查全率，其具体计算公式如下：
（2）
（3）
4.2过滤常用语料库
为了比较各种文本处理算法的性能，需要一个公共的语料库，通常包括训练集合和测试集合。为了排除语料库内容对算法的偶然性影响，一般要求语料库中的数据都来自于实际应用中的真实场景。目前，常用的语料库有中科院自动化所的中英文新闻语料库、搜狗的中文新闻语料库、李荣陆老师的中文语料库[6]、谭松波老师的中文文本分类语料、网易分类文本数据、中文文本分类语料。
5.小结
随着网络快速发展，催生大数据时代的到来。网络信息的泛滥，带来了很多“信息垃圾”，严重影响青少年网民的人生观、世界观和价值观。面对纷繁复杂的网络信息，我们需要将带有不良信息的网页过滤掉，把健康的信息推荐给用户。本文讨论了网络文本信息过滤的基本流程、过滤关键技术和方法，以及过滤效果评估标准和常用的中文语料库。还需要对网页文本过滤技术进行更深入的研究，建立网页信息过滤系统，提高过滤的正确率和效率。
参考文献：
[1]中国互联网信息中心.第34次中国互联网络发展状况统计报告[R].http：//www.cnnic.net.cn/hlwfzyj/hlwxzbg/hlwtjbg/201407/t20140721_47437.htm，2014-7-23.
[2]信息过滤系统[EB/OL].http：//baike.baidu.com/view/2233793.htm？fr=aladdin，
2014-7-25.
[3]李星，熊列彬，王昌.基于Winpcap网络数据包的捕获与存储技术研究[J].软件导刊，2014，（1）.
[4]朱振方.基于微粒群和遗传优化的文本过滤关键技术研究[D].济南：山东师范大学大学，2012.
[5]李兆翠，刘培玉，周洪利.基于本贝叶斯方法的客户端邮件过滤器的设计与实现[J].信息技术与信息化，2007，（3）.
[6]李荣陆.李荣陆中文语料库[EB/OL].http：//www.datatang.com/data/11968.
基金项目：
山东协和学院校级科技项目（编号：XHXY201417）。
作者简介：
李兆翠（1980-），女，山东莒南人，硕士，讲师，主要研究方向：机器学习，软件工程。
朱振方（1980-），男，山东临沭人，博士，教授，主要研究方向：网络安全。
【关键词】信息过滤；文本表示模型；分词；特征选择；文本分类
1.前言
根据中国互联网络信息中心（CNNIC）第34次中国互联网络发展状况统计[1]，截至2014年6月底， 我国网民规模达6.32亿，半年共计新增网民1442万人。互联网普及率为46.9% ，较2013年底提升了1.1个百分点。
根据CNNIC的统计报告，在我国众多的互联网用户中，学生群体是网民中规模最大的职业群体，占比为25.1%，并且中学生人数占据较大比例。网络以其用户数量庞大，方便快捷等特点，成为了人们信息获取的主要途径。伴随着大数据时代的到来，网络向人们的传统生活方式和学习方式发起挑战。低成本快捷的网络信息为我们提供了极大的方便，同时也带来了很多“信息垃圾”，比如：色情、暴力、违法诈骗、赌博等。这些不良信息正在侵蚀社会的道德，挑战现有的法律。严重影响了人民群众的日常生活，特别是青少年网民的人生观、世界观和价值观。将这些不良信息过滤掉，还大家一个健康的网络空间。
2.网页文本信息过滤过程
1982年，信息过滤[2]（Information Filtering）由Denning于1982年提出。网络信息过滤，主要是指根据用户的信息需求，利用一定的工具从大规模的动态信息流中自动筛选出满足用户需求的信息，同时屏蔽掉无用的信息的过程。网络文本信息过滤流程如图1所示：
图1 网络文本信息过滤基本流程
3.信息过滤关键技术分析
3.1数据包捕获
常用的数据包捕获技术有Winsock2 SPI技术和Winpcap技术，在Windows 操作平台上来实现对底层包的截取过滤。用户在使用Winsock2 SPI技术进行数据封包截获时，需将自己编写好的SPI程序安装到系统上。截获了网络封包之后，需要对网络封包进行协解析，然后回调系统函数，由系统函数完成网络传输功能。而WinPcap[3]是Win32 上的第一个用来捕获数据包的开放系统软件包，它能获取网卡列表信息、捕获原始的数据包、设置filter，只捕获自己感兴趣的数据包，还可以统计网络流量。
3.2文本表示模型研究
目前常用的文本表示模型[4]有布尔逻辑模型、向量空间模型、概率模型、潜在语义索引模型等。
3.2.1布尔逻辑模型
布尔逻辑模型也称为完全匹配模型，是一种相对简单的信息过滤模型。在过滤时，它以文档中是否包含关键词来作为取舍的标准。利用布尔逻辑模型进行信息过滤，就是给定一系列的具有二值逻辑的特征变量。这些变量是从文档中抽取出来的，用来描述文档的特征。通过布尔操作符把表示文档信息的特征变量构成布尔表达式，此即为一查询。当在一个查询中，两个查询关键词之间用布尔操作符AND（与）相关联，则表示对于这两个关键词，应该都包含在非友善文档中。如果两个查询关键词之间用布尔操作符OR（或）相关联，则表示对于这两个关键词，其中有一个包含在查询文档中即可。
基于布尔逻辑模型的信息过滤技术特点是实现容易、用戶操作方便、易接受，而且查全率比较好。但布尔模型的结果非真即假，限制性过强，会导致漏判。Gerard Salton给出了扩展的布尔模型信息过滤系统，增加了关键词相对于查询或文档的重要程度。
3.2.2 向量空间模型
向量空间模型（VSM）是由Salton提出的关于文本表示的模型，使用由词语构成的向量表示文档信息与过滤信息，并在Cornell研究出基于向量空间的SMART实验系统。该模型已被人们普遍认为是一种非常有效的信息过滤模型，它以特征项作为文本表示的基本单位，特征项可以由字、词或短语组成。所有的特征项构成特征项集。一篇文献可以表示为一个向量，即可被定义成一系列子项的组合，该向量的维数是特征项集的个数，并且根据统计结果，该向量的每个分量都被赋予一个权值以表明它对于这篇文献的重要性。
向量空间模型具有自然语言界面，易于使用。该文本表示模型的缺点是：假设所有检索词在向量空间中是正交的，即检索词是相互独立的，但现实情况往往并不是这样。
3.2.3潜在语义索引模型
潜在语义索引模型（LSI）已被广泛地应用到信息过滤领域中，它是利用字项与文档对象之间的内在关系形成信息的语义结构。这种语义结构反映了数据间最主要的联系模式，忽略了个体文档对词的不同的使用风格。主要挖掘文档的潜在的语义内容，而不仅仅是使用关键字的匹配，是对字项文档矩阵使用奇异值分解（SVD）方法来实现的，把小的奇异值去掉。
无论是在LSI还是在关键字向量匹配方法中，文档都是以多维向量来表示的。关键字向量中的值表示字在文档中出现的频率，LSI向量中的值是通过SVD分解得到的缩减了的值，内容相近文档的向量也是相近的，这就是信息过滤中的本质所在。
3.3分词与特征选择
3.3.1 分词技术
由于中文文档没有明显的分隔符的存在，所以在特征提取之前要首先进行分词处理。目前常用的分词算法大致有三种：基于字典的字符串匹配方法、基于统计的分词方法、基于规则和基于统计相结合方法。其中第三种方法可以解决汉语中最常见的歧义类型：单字交集型歧义，并对人名、地名、机构名、后缀、动词/形容词重叠、衍生词等词法结构进行识别的处理，基本解决了分词所面临的最关键的问题，而且由于优秀的辞典结构和算法设计，分词速度非常快。
3.3.2 特征选择
分词将文档表示为词的形式，训练集中就包含了大量的词汇，需要选择那些有代表意义的词作为特征。先对文本进行预处理，去掉那些常用的对分类用处不大的词（称为停用词），然后采用某种特征选择方法对所有的词排序，选出排在前面的一定数量的词作为特征。常用的特征选择方法有：文档频率、互信息、信息增益和CHI统计方法。 3.4文本分类方法研究
3.4.1 Racchio方法
Racchio方法是基于向量空间的方法，它根据算术平均为每类文本集生成一个代表该类的中心向量，然后在新文本来到时，确定新文本向量，计算该向量与每类中心向量间的距离（相似度），最后判定文本属于与文本距离最近的类。
3.4.2 KNN算法
KNN方法是一个经典的基于统计的方法，它的算法思想是：给出一个测试文档，从训练文档中找出与该文档最近（用相似度度量）的k个文档，用这k个邻域文档所属的类别作为测试文档的候选类别。邻域文档与测试文档之间的相似度被用作临近文档所属类别的权值，如果k个最近邻域文档中有多个属于同一类别，则将这几个邻域文档的相似度值增加，它们的总和作为该类别关于测试文档的权值。通过对候选类别的权值进行排序，得到一个与测试文档有关的有序表。最后使用阈值对权值做界定，得到测试文档的类别结果。
3.4.3 Na?ve Bayesian方法
Na?ve Bayesian方法[5]是一种概率方法，它利用先验概率的联合概率计算出后验概率，并且根据样本集构造分类标准，分类标准根据测试样本的后验概率对测试样本进行分类。此方法是建立在所有的关键词在文档中出现的概率相对独立的基础上的，要判断一个未归类的文档的类别，可以通过计算的概率来完成。表示由该文档的单词与向量模式的匹配情况而决定该文档属于类别的概率。Bayesian概率公式如式1所示。
（1）
式1表明可由先验概率来更新后验概率，因此可直接把后验概率作为网络过滤依据。
3.4.4 支持向量机
支持向量机（SVM）是由N.V.Vapnik等人于1992年至1995年正式提出的。SVM方法是从线性可分情况下的最优分类面提出的。通过将文本表示为向量的形式，就可以利用支持向量機的方式找到最优分类面，从而能够对文本进行分类，由于支持向量机是在两类问题的背景下发展来的，所以要想使用支持向量机处理多类问题，必须进行相应的处理，最常见的一种方式是：将一类文档作为正例，其他作为反例，从而将多类问题转化为两类问题进行处理。
4.实验评估标准
4.1 评估指标
实验效果的评价指标有文本分类的准确率与查全率，其具体计算公式如下：
（2）
（3）
4.2过滤常用语料库
为了比较各种文本处理算法的性能，需要一个公共的语料库，通常包括训练集合和测试集合。为了排除语料库内容对算法的偶然性影响，一般要求语料库中的数据都来自于实际应用中的真实场景。目前，常用的语料库有中科院自动化所的中英文新闻语料库、搜狗的中文新闻语料库、李荣陆老师的中文语料库[6]、谭松波老师的中文文本分类语料、网易分类文本数据、中文文本分类语料。
5.小结
随着网络快速发展，催生大数据时代的到来。网络信息的泛滥，带来了很多“信息垃圾”，严重影响青少年网民的人生观、世界观和价值观。面对纷繁复杂的网络信息，我们需要将带有不良信息的网页过滤掉，把健康的信息推荐给用户。本文讨论了网络文本信息过滤的基本流程、过滤关键技术和方法，以及过滤效果评估标准和常用的中文语料库。还需要对网页文本过滤技术进行更深入的研究，建立网页信息过滤系统，提高过滤的正确率和效率。
参考文献：
[1]中国互联网信息中心.第34次中国互联网络发展状况统计报告[R].http：//www.cnnic.net.cn/hlwfzyj/hlwxzbg/hlwtjbg/201407/t20140721_47437.htm，2014-7-23.
[2]信息过滤系统[EB/OL].http：//baike.baidu.com/view/2233793.htm？fr=aladdin，
2014-7-25.
[3]李星，熊列彬，王昌.基于Winpcap网络数据包的捕获与存储技术研究[J].软件导刊，2014，（1）.
[4]朱振方.基于微粒群和遗传优化的文本过滤关键技术研究[D].济南：山东师范大学大学，2012.
[5]李兆翠，刘培玉，周洪利.基于本贝叶斯方法的客户端邮件过滤器的设计与实现[J].信息技术与信息化，2007，（3）.
[6]李荣陆.李荣陆中文语料库[EB/OL].http：//www.datatang.com/data/11968.
基金项目：
山东协和学院校级科技项目（编号：XHXY201417）。
作者简介：
李兆翠（1980-），女，山东莒南人，硕士，讲师，主要研究方向：机器学习，软件工程。
朱振方（1980-），男，山东临沭人，博士，教授，主要研究方向：网络安全。