基于概率主题模型的中文话题检测与追踪研究

被引量 : 0次 | 上传用户:coldcoffee
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对网络新闻数据的泛滥,话题检测与追踪技术提供了一种处理新闻报道、事件的方法,从新闻数据中抽取话题,组织话题成为当前话题检测与追踪研究的热点。近年来,基于图理论和概率统计学的主题模型在机器学习领域得到越来越多的应用。概率主题模型基于主题的思想,非常适用于话题挖掘,即话题检测与追踪研究。利用概率主题模型(Latent Dirichlet Allocation,LDA)及其变形,进行话题检测、话题追踪、话题组织等一系列实验,通过评测验证了其效率。首先利用David等人提出的一种有监督的概率主题模型(Supervised Topic Model, STM),用于话题追踪任务。STM模型对给定的报道-话题对的数据集进行训练,得到了一种依赖于潜在主题的标签数据集生成模型。通过参数推导,可以得知一个测试报道的标签期望值,从而能够判断报道的话题属性,通过错误权衡代价图评测了话题追踪的实验结果。另外,针对新闻数据的动态增长的特性,报道数据之间是不可交换的这一事实,动态概率主题模型解放了LDA模型中对文档之间是可交换的这一假设。基于Online-LDA模型的话题检测试验,利用相邻时间片的话题分布的先验信息,来训练Online-LDA模型的参数。通过话题在单词上的分布来判断话题之间的相似性,通过报道在主题上的分布来判断报道的话题属性。最后,提出了话题组织这一概念,从直观上反应新闻事件的发展变化。利用动态概率主题模型,抽取主题,随时间的发展变化组织话题,从一个较抽象层次的角度提供了认识事物发展的视图。
其他文献
近些年,随着经济的进步,银行的理财产品和财富管理方面得到了长足的发展,也推动了客户对银行产品、服务及银行系统的需求不断增加,从而使得银行系统之间的交易量大幅上升,数
背景:顺铂是目前临床治疗多种肿瘤的一线用药,其抗瘤作用强、抗瘤谱广,被推荐为肺癌、膀胱癌、睾丸癌和卵巢癌等十余种肿瘤的首选化疗药物。然而,顺铂在发挥其高效抗癌活性的
探求民族文化在现代化与全球化双重夹击下的处境,是与王海合作撰写《从远古走向现代》的最初动机。如何面对强势文化?如何保护民族文化的多样性和丰富资源,是值得探讨的重要
目的:挖掘和分析治疗感冒的中成药的组方规律,为临床辨证用药及治疗感冒的新药研发提供参考。方法:收集2015年版《中国药典》(一部)中治疗感冒的中成药名称、剂型、处方、功
高分辨率对地观测遥感影像已经广泛应用于国防、农业、林业、海洋、国土和环境监测等众多方面。与中低分辨率遥感影像相比,高空间分辨率遥感影像具有丰富的形状、结构和纹理
目前新生代农民工已逐渐成为外出打工的主力军,然而随着知识经济的快速发展,产业结构的不断调整,新生代农民工的知识与技能水平难以满足经济的发展要求.本文对陕西省新生代农
<正> 1992年10月19日,当我随“20世纪西域研究”国际考察队来到热瓦克佛寺面前时,初次造访热瓦克的情景,历历在目。 早在1964年我参加工作时,就听说洛浦县西北沙漠中的有一座
农村特色产品与农村生产息息相关,是农产品特色化、品牌化销售的新亮点。农产品特色经营是实现农村特色经济可持续发展战略目标的保证。开发农村特色产品是促进新农村建设和
在今年的中央一号文件中,多次提及农民专业合作社及其他农民合作组织,多处提及对各类农民合作组织的政府扶持。这是一个富有重要意义的指导性文件,昭示着农民合作组织发展的广阔
本论文以上海市的东润换热设备制造有限公司所申请的上海市科技委员会科研计划项目为技术背景,针对化学工业、石油工业、制冷、动力和原子能及其他一些行业中广泛使用的设备