论文部分内容阅读
随着互联网媒体网站的迅速发展,新闻、博客的评论系统普遍遇到垃圾评论的困扰。这些垃圾评论中充斥着色情、暴力、政治敏感的信息,这些信息严重阻碍了用户之间正常的交流讨论。由于垃圾评论文字较少,仅仅依赖文本分析方法难以达到良好的过滤效果;相同评论在不同的网站和不同的文章中,会有不同的判断结果;此外,评论系统的数据量巨大,实时性要求很高。传统的垃圾邮件过滤系统无法解决垃圾评论的问题。 因此,我设计了一种过滤垃圾评论方法,不仅使用支持向量机算法提取评论的文本特征,还将评论的评论者信息、评论行为历史记录、电子邮箱、网址、IP地址、评论时间等元数据逐一进行分析、整理,将其转换成统一的概率数据,运用朴素贝叶斯分类器将多种特征数据融合在一起,组成一个兼顾所有元数据的分类器。此外,我们还根据不同元数据特征的置信度对特征进行加权,在不同的子系统中实现个性化的过滤,并对垃圾评论的进一步分类进行了尝试性的研究。 实验表明这种垃圾评论过滤方法有着优秀的过滤效果和快速的过滤速度,同时也能够满足大规模数据量、高实时性高可用性的要求。