主题不平衡新闻文本数据集的主题识别方法研究

来源 :数据分析与知识发现 | 被引量 : 0次 | 上传用户:sophia_deng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
[目的]针对传统LDA模型因新闻文本数据集中不同主题间文本数量不均衡导致文本主题识别不准确问题,提出一种在主题不平衡新闻文本数据集上的主题识别方法.[方法]该方法基于传统LDA模型,结合独立性检测、方差检测和信息熵检测三种不同的特征检测方法来识别文本的主题.[结果]在10 000篇新闻文本规模的数据集上实验验证,该方法相比传统的LDA主题识别方法,查全率提高了0.212 1、查准率提高了0.040 7,F1值提高了0.152 0.[局限]由于新闻文本中新词较多,实验中使用的分词工具的分词准确率会降低,新闻文本主题识别的效果因对分词准确率的依赖而受到影响.[结论]实验证明,所提方法能够在一定程度上解决LDA对新闻文本数据集中不同主题间文本数量不均衡导致文本主题识别不准确问题.
其他文献
音乐学科的优势在于其情感培养的教育功用,然而老套、陈旧、缺乏生机的教学课堂却并未使情感教育的功效得以发挥.由此,基于“活力课堂下”的视角,浅谈小学音乐活力课堂情感培
人类几千年来的社会音乐实践,其本质就是音乐的传播实践.中华民族优秀的传统音乐有着几千年的历史,自然也离不开整个人类的社会音乐实践,即音乐的传播实践.随着传统文化的复
开展义务教育质量监测的根本动因是提升教育质量,同时扭转“唯分数”“唯升学”等不科学的教育评价导向,引导树立全面教育质量观,并通过监测大数据满足义务教育工作中科学决
目前我国城市与乡村小学优质教育资源配置上存在严重不平衡,基于此,结合“互联网+”教育探究城乡小学优质教育资源共享机制,以便缩小城市与乡村之间的教育差距,实现优质教育
课程思政就是在专业课授课过程中将“立德树人”这一理念融入日常教学.思政教育在传播理论知识的基础上,影响青少年价值观念,润物细无声地改变思想、意识、行为、举止等.在“
随着新一轮课程改革的深入推进,小学数学课堂教学改革也势在必行.数学老师要立足新课标理念,创新教学方式,提升小学数学课堂教学效率.实践证明,在小学数学教学中采用生活化教
随着全国各省市新高考的稳步推进,如何引导学生更好地应对新高考成为一个重要议题.生涯教育是解决此问题的一个重要的突破口.但是,当前城乡差距较大,各校资源也存在着极大的
随着我国留学生群体的不断壮大,留学生心理问题日益凸显,促进留学生心理健康成为留学生管理工作关注的热门话题.来华留学生由于文化冲击、中文水平及其国家心理咨询的普及程
很久以来,我国的数学教学工作就存在着与学生实际生活严重脱离的问题.因此,数学教学回归生活化是数学课程改革的一个重要的发展趋势.随着我国课程改革的不断推进,加强数学教
国家对农村音乐教育的重视程度逐步提高,农村初中生的音乐教学意在提高学生的合唱能力,并且要将核心素养的培养渗透其中.这是农村初中学生音乐教育的根本目的和最终目标.文章