基于Spark框架的文本主题特征提取与分类

来源 :中国新闻技术工作者联合会2015年学术年会 | 被引量 : 0次 | 上传用户:daxiaa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
主题模型目前广泛应用于机器学习与自然语言分析等领域,该模型自动分析一系列未识别的文档,试图通过统计信息发现多个抽象主题.主题模型在新闻文本智能处理与推荐领域的应用前景十分广阔.本文首先从文档自动分类为出发点,介绍文本分析的一般流程.在此基础之上,介绍主题模型和基于LDA模型的文本主题特征提取原理.最后结合Spark大数据处理的内存迭代和分布式计算特性,实现了基于LDA模型的文本主题提取过程,并给出了在新闻文本数据集上的主题抽取与分类预测结果.
其他文献
专业是高校教学的基本单元,也是高校与社会接轨的接口.专业发展水平体现了高校办学水平,形成了高校核心竞争力.地方高校科学规划、合理发展,有效提升专业发展水平,是摆在当前
随着经济社会的发展,在高等教育大众化和多样化的背景下,地方高校要在当前激烈的竞争中赢得自己的地位,必须结合学校实际,从自身的办学传统和办学特色出发,找准自己的办学定
随着社会经济和大众健康意识的提高,近年来简单经济的跑步赛事逐渐增多,手机运动检测类APP也应运而生,APP是Application的简称,多指智能手机的第三方应用程序,是基于各种移动
读好书是人类进步、社会文明的体现.除课堂学习外,课外阅读是高职学生业余学习的重要组成部分,课外阅读可以帮助他们构建更加合理的知识结构.图书馆要帮助高职学生读好书,学
当前"慕课"(MOOC)正在迅速崛起,并对教育模式产生巨大的冲击和深远的影响.《纽约时报》发文称2012年为"慕课元年",许多专家认为慕课是"印刷术发明以来教育最大的革新",并呈现
研究生教育是我国教育体系中最高层次的教育,在国家教育体系中具有举足轻重的地位.研究生的培养需要与社会需求、经济发展相结合.当前研究生教育的现状使得创新能力培养成为
研究生培养机制改革以来,研究生培养与管理发生了巨大变化.本文结合基层单位工作实际,对贯彻培养机制改革工作、提高研究生培养质量做了有益的尝试,对研究生培养机制改革的主
面对国内高端会计应用人才短缺的现实,根据教育部提出的要大力发展专业学位教育、着力培养应用型人才战略和财政部组织实施高端会计人才培养的精神,通过国内外会计专业硕士培
研究生培养模式的改革研究一直是研究生教育研究的热点,用一种静态的研究生培养模式去贯穿整个研究生培养过程是不现实的.哈尔滨工程大学将研究生的课程学习、科学研究、学术
手是幼儿开展游戏的极好资源.手指游戏是利用人的自身器官——手,伴随儿歌口令节奏,通过手部动作和言语去构造游戏情境而开展的游戏活动,它简单、易操作,需要的唯一道具就是