【摘 要】
:
话题发现中常用的VSM向量空间模型将语言学的文本内容转化为数学上的空间向量坐标,进而把抽象的文本间相似性问题转换为空间向量坐标间的距离问题,直观且易于理解,但存在的问
论文部分内容阅读
话题发现中常用的VSM向量空间模型将语言学的文本内容转化为数学上的空间向量坐标,进而把抽象的文本间相似性问题转换为空间向量坐标间的距离问题,直观且易于理解,但存在的问题是:语义缺失,即忽视了文本中包含的语义信息。本文考虑改进VSM模型中权值算法TFIDF,通过引入LDA主题模型的主题概念来增加特征词权重的主旨语义信息,以期达到对文本的空间向量坐标增加语义信息(因为坐标值即是权重值)。算法的改进策略分为两种:首先,通过构建LDA模型,得出概率分布函数θ和φ值,计算出语义影响力SI,提出SI-TFIDF算法;其次,主题-词的概率分布φ值中,判定最大的前K/1的φ值对应的特征词属于该主题,用以计算主题分布频率TDF即:语义分布,提出了TFIDF-TDF算法。实验采用sougou实验室的精简版数据,实验结果显示:两种改进的算法提取的特征词用在文本聚类上F值都有明显的提升,SI-TFIDF算法的提升效果稳定,而TFIDF-TDF算法在文本主题数较多时聚类效果要优于SI-TFIDF算法。最后,将改进的两种算法用于网络新闻热点话题的提取,从搜狐新闻网提取一定时期内的新闻数据进行试验,实验结果得到的新闻热点话题与事实一致,进一步证明算法改进和算法应用的可行性和有效性。
其他文献
《简·爱》是英国著名女作家夏洛蒂·勃朗特的代表作之一,一直以来颇受世界各国读者的青睐,并被拍成了同名电影。在这部著作当中,夏洛蒂展现出了简·爱坚守对真爱的向往,追求
腕舟骨骨折在部队训练伤中较常见,骨折部位多在舟状骨腰部,因骨折近端血供大部分被破坏,故常引起骨折不愈合或近端坏死,严重影响腕关节的功能.我院自1996年6月~1999年9月采用
为了研究振荡热管的运行机理和运行过程的安全性,基于VOF方法建立了振荡热管模型,使用Fluent软件对管内工质进行了数值模拟。结果表明:管内压力的变化是推动工质在热管内做振
新课程标准规定需要着力增强学生的英语水平,以及英语口语表达技能。由于中国在世界舞台上越来越活跃,以及经济多元化地逐步推进与社会竞争激烈,人们对毕业生英语口语水平也
<正> 当前,结核菌多药耐药性问题已成为防痨界和医学专家共同关注的课题,是影响结核病化疗效果的主要因素。依照药敏试验结果选择敏感的化疗方案,是处理耐药菌株病例的最佳对
采用离散元软件建立了铜基石墨复合材料与45钢滑动摩擦模型,研究了滑动速度对摩擦面上石墨动态演变和铜基石墨复合材料摩擦学行为的影响。结果表明:摩擦面上石墨颗粒经历形成
为了得到小麦胚芽乳酸发酵饮料制备的最佳工艺,首先通过单因素试验考察接种量、发酵温度、发酵时间、培养基初始p H值等对乳酸饮料风味的影响,然后在最优范围内对这4个主要影
[目的]探讨多学科协作慢病管理模式在慢性呼吸疾病病人管理中的应用效果。[方法]选取2018年4月-2019年3月在山西医科大学第一医院住院的慢性阻塞性肺疾病、支气管哮喘病人329
通过南山矿北五区15层七分段237回采工作面的生产实践,总结出位于集中压力带下的孤岛回采工作面,在冲击地压的影响下工作面瓦斯异常涌出的解决办法,为同类生产条件下回采工作