基于NLPIR的网络传销判断方法研究

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:chenquanchenwen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,网络传销已成为阻碍社会发展的一大毒瘤。伴随着大数据时代的来临,网络中数据量的爆发式增长,给传销提供了一种新型的传播形式,网络传销应运而生。由于其传播速度快,传播方式隐蔽,传播者分散在全国甚至境外,电子证据难以获取,为违法者提供了网络传销土壤。同时,也给职能部门的监管和打击带来了不小的挑战。大量的网络传销站点通过文本的形式在网络中散播传销信息。如何有效的从海量文本信息中挖掘并判断出哪些是网络传销文本成为了当前的迫切需要。在网络传销文本分类过程中,由于文本特征多样化,产生了大量的噪音数据,因此训练文本不能很好地拟合整个特征空间的分布情况。想要对网络传销文本进行精准的分类鉴别,仅仅采用传统的分类算法是不可靠的。此外,网络传销文本格式杂乱无章,良好的文本预处理将直接影响分类结果。特征选择能够影响文本分类精准度,但是,个别明显特征很难代表网络传销文本特性。本研究基于NLPIR分词工具对文本进行预处理,并根据网络传销文本所描述的高收益、高返利、层级式计酬,以及文本主题多样性等特征,提出了一种联合主题模型Paragraph Vector Latent Dirichlet Allocation(PV_LDA)。该模型将段落作为最小处理单元,从网络传销文本中分别生成“高息”和“层级计酬”两种特征的主题分布矩阵,采用Gibbs抽样推导出二者共同代表的“传销”主题分布矩阵,用于分类器做分类处理。针对以上核心技术点,研究内容包括以下三点:(1)使用NLPIR对文本进行预处理之后,以LDA模型为基础主题模型,通过聚类的方式将文本中的特征信息进行归纳总结,采用Gibbs抽样迭代计算模型参数,有效的从网络传销文本中获取主题分布矩阵。(2)将两种能够代表网络传销特征的主题进行融合,提高主题分布矩阵对传销特征的泛化能力是研究的重点之一。该方法采用哈达玛积,并引入一个残差联合向量,将两类主题分布矩阵进行融合,使其生成的联合主题分布矩阵对传销文本更具有代表性。(3)本研究将综合考虑分类器的各项指标,通过交叉实验对比选择一个精确度高,处理速度快的文本分类器。实验表明,本文提出的主题模型能够更合理的捕获传销特征,考虑主题挖掘效果的同时也保证了模型的泛化能力,并在实验过程中表现出了更好的性能。
其他文献
寿险公司一方面以收取保费的形式提前获取大量的保险资金,另一方面通过理赔、给付、贷款、退保、费用报销、员工工资等各种业务活动付出大量的保险资金。因此,大量保险资金的
为了研究协同吸气式火箭发动机(SABRE)循环系统的损失分布规律以及性能特性,针对SABRE4发动机系统开展了?分析,选择具有代表性的飞行马赫数Ma=4作为主要工况,研究不同工作参
以心理弹性作为中介变量,研究大学生自我效能感与应对方式之间的关系。采用青少年心理韧性量表、青少年应对方式量表和自我效能量表对520名大学生进行调查。结论:心理弹性对
目的:研究参附注射液联合新活素对老年慢性心力衰竭患者心功能及血清B型利钠肽(Brain natriuretic peptide,BNP)、基质金属蛋白酶-9(matrix metalloprotein-9,MMP-9)、亲环素
上世纪80年代初,我国保险行业全面复苏,自1992年引入个人代理人制度之后,整个保险市场就在其推动下蓬勃发展。同时也是这个代理人制度大范围推广使用的同时,保险代理人的高流失率的问题开始出现并日益凸显,在寿险行业这一现象尤为突出。目前,各寿险公司主要采用的是放养式的“人海战术”经营管理体制,通过运行近30年来的表现来说,其高流失率已经成为整个寿险行业可持续发展的瓶颈,是各寿险公司高层建筑最需要重视和
随着我国人口政策的变化,即全面放开二胎生育的政策,我国已进入了后计生时代。本文以此为背景,通过对婴幼儿期各阶段生理、心理特点的研究,以及对目前国内外三个方面进行比较研究,包括产品设计的发展史,儿童心理学的发展、产品质量监管体制。通过研究发现国内婴幼儿产品目前存在很多问题,在设计方面,缺乏对婴幼儿心理、生理特征的深入了解,导致大量的影响婴幼儿身心健康的产品充斥市场;在产品质量监管方面,婴幼儿产品在材
目的:本研究通过回顾测量100例腰椎间盘突出症患者L1/L2节段到L5/S1节段侧位X平片的解剖学参数,以及结合椎间盘退变改良Pfirrmann分级系统评估椎间盘退变程度。本研究旨在量
<正>日本在饮食文化上受中国的影响深远。随着时代的变迁,两国的饮食文化和饮食礼仪也在不断发生改变。了解、尊重彼此的饮食文化和礼仪,对减少文化冲击,消除心理隔阂、促进
血液作为特殊医疗用品,输血及其成分是医疗抢救和治疗的重要手段,风险始终存在,输血风险一旦发生,必然导致病患和治疗问题,同时涉及输血风险责任中的产品质量责任问题.本文从
“消化感染科主任”,第一次见到张婷的职务抬头时,笔者觉得很新奇。“消化科”很多,“感染科”也很多,但“消化感染科”的确少见。据了解,目前国内儿科医院如此设置学科的仅此一家