基于聊天内容的群组分类技术的研究

来源 :武汉邮电科学研究院 | 被引量 : 0次 | 上传用户:lvchao222
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社交媒体的出现,以QQ和微信等交流平台为主的聊天短文本在当今的网络上非常流行。如何从大量的聊天短文本中推断出主题并进行准确地分类,对许多内容分析任务来说是一项关键而又具有挑战性的任务。传统的短文本分类是依据特征词和其模型组成分类模型,其中忽略了词与词之间的相互联系,而且采用传统词频统计和向量空间模型对短文本处理,会由于短文本的稀疏性使得分类的结果不准确。针对短文本语义稀疏性的特点,目前通常的方法是利用外部语料库对其处理,但是庞大的外部语料库主题在算法实现的过程中,将会导致性能效果不好。目前常用的机器学习的分类算法,如SVM(Support Vector Machine),朴素贝叶斯等,在短文本领域准确率则有待提高,并且其算法在实现过程中要求大量数据,同时其实现效果准确性不佳。针对这些不足,本文基于BTM(Biterm Topic model)主题模型进行改进,提出了TTR-BTM(Time TextRank Biterm Topic model)主题模型,该模型引入时间影响因子,通过时间窗口来截取更有价值的数据,即对时间窗口内的每条信息采用TextRank关键词的提取,将提取到的关键词作为BTM主题模型的输入,输出主题词的分布。在此基础上进行群组分类工作:先基于主题词分布的结果做数据标注,完成训练集和验证集的准备,再引入分类算法,在TTR-BTM主题模型输出结果的基础上,结合Word2vec对主题词进行特征词扩展,利用FastText的改进算法W-FastText(Word2vec-FastText),通过计算输入序列词向量平均值的过程中会使词条的区分度变高,进而完成对聊天短文本的准确分类。论文最后对本文提出的TTR-BTM主题模型与BTM和LDA在内的主题模型进行实验对比,对比维度包括主题聚类的效果分析、主题连贯性分析和困惑度分析。同时从分类的准确率、模型训练时间等维度对比了W-FastText分类算法与FastText、SVM和Naive Bayes在内的分类算法。实验结果表明,文本提出的TTR-BTM主题模型和W-FastText分类算法分别具有更好的主题提取和群组分类效果。
其他文献
预测在决策中起着十分重要的作用,但作出准确的预测是非常困难的.随着Internet的普及,研究利用Internet技术来开发先进的预测支持系统具有十分重要的实际意义,本文对基于Inte
<正>一、新民主主义完满地解决了中国特色革命道路问题,是马克思列宁主义与中国革命实践相结合的第一次历史性飞跃的伟大成果 中国共产党十三大报告中指出:“马克思主义与我
西南印度洋洋中脊(SWIR)是超慢速扩张洋脊的代表,是海洋地学研究热点.本文从SWIR多波束水深数据、重、磁数据和地震结构等几方面,阐述了SWIR热液活动区(49&#176;39′E)的综合地质
本文主要分析了中国信息咨询业在发展中存在的利弊,并提出相应的对策。
本文主要分析在建筑施工的过程中如何运用绿色施工技术,在这个过程中主要分析绿色施工技术的主要特点和原则,在分析其在建筑施工工程中的具体运用的基础上明确技术改进和优化
国家与社会这一理论在人类学的中国研究中扮演着重要的角色,学者往往会借助这一理论框架对一个地方社会的生活、文化、结构等要素进行研究,以期更好地认识地方社会。作为人类
本文在论述我国信息企业技术创新能力构成要素的基础上,分析了影响我国信息企业技术创新能力的主要因素,提出了增强我国信息企业技术创新能力的应对措施.
精品课程建设是各高校提高教学质量与促进教学改革的重要内容。精品课程创作平台以先进的教育思想为指导,利用先进的数据库编程技术进行开发,可大大降低使用者的技术门槛,提高精
人力资源管理是项目管理中不可或缺的组成部分,而薪酬管理在人力资源开发与管理中更是占据着重要位置。在建筑项目中,工程管理团队是项目实施的参与者,其团队成员的能力与态度,是项目成败的关键所在,而薪酬管理则是工程项目团队管理中最为核心的管理内容,科学合理的薪酬管理体系和措施,能够有效激发工程项目团队活力,在很大程度上能够直接决定一个工程项目团队人力资源管理的效果,进而影响到项目的成败。鉴于此,对工程项目
新型城镇化与新型工业化作为经济持续高速增长的两大动力,助推了中国经济的高质量发展,新型工业化是新型城镇化的经济支撑,新型城镇化为新型工业化提供承载空间,二者协调发展是经济增长的重要的支撑和保障。成渝城市群是我国西部经济相对发达、人口和城镇分布密集、综合实力较强的区域之一,其发展目标要“努力建设成为西南地区经济中心,全国重要的现代产业基地、全国内陆开放高地和我国统筹城乡发展的示范区”。而新型城市化与