文本聚类中特征选择和文本表示的研究与应用

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:mucao_xkhl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着5G技术的出现以及计算机技术突飞猛进的发展,通过互联网发布和获取信息变得越来越容易。面对人工难以处理信息爆炸式增长的困境,文本聚类可以高效地管理组织文本,挖掘文本之间的内在联系,有利于解决信息爆炸和信息冗余所带来的问题。影响文本聚类效果的因素众多,本文重点围绕其中特征选择和文本表示两个关键技术进行研究,主要完成了以下三部分工作:(1)提出了一种基于新型特征选择的文本聚类方法(Text Clustering based on Novel Feature Selection Method,TC-NFSM)。针对文本聚类中的高维问题,从数学角度分析特征选择问题;探究二进制粒子群优化算法在文本特征选择中的应用,针对该算法提前收敛、搜索能力不够细致等缺陷,引入动态控制的学习因子、惯性因子、收缩因子的同时融合遗传算子,提升算法的搜索能力,并结合基于特征词权重的适应度函数,提出了一种新型特征选择方法(Novel Feature Selection Method,NFSM);以此为基础与传统聚类算法K-Means结合提出TC-NFSM文本聚类方法,有效缩减了特征数量。(2)提出了一种基于新型文本表示模型和深度聚类的文本聚类方法(Text Clustering based on Novel Text Representation Model and Deep Clustering,TC-NTRM)。针对文本聚类中的语义缺失问题,考虑文本中上下文信息以及文本中蕴含的实体和特征词,引入Bert预训练模型与基于实体和特征词的特征加权方案结合,提出了一种新型文本表示模型(Novel Text Representation Model,NTRM);在此基础上与深度聚类方法结合提出TC-NTRM-DC文本聚类方法,有效降低了传统文本聚类中语义缺失问题带来的影响。(3)设计并实现了一套文本聚类系统。以本文提出的两种文本聚类方法为基础,结合实际科研项目需求,设计并实现了一套文本聚类系统,包括数据规范化、文本预处理、文本聚类、数据管理、系统交互、系统管理六个模块。本文提出的两种文本聚类方法,均有效提高了文本聚类准确率等指标,提升了文本聚类效果,对开展文本聚类研究有一定的参考价值。基于两种文本聚类方法实现的文本聚类系统,提供文本聚类的核心功能,在文献管理、舆情分析等领域具备一定的应用价值。
其他文献
浙江省嘉兴市拥有深厚的文化底蕴、丰富的旅游资源,是国内外游客向往的旅游目的地之一。随着游客旅游需求的日益变化,挖掘嘉兴地方特色饮食文化有助于旅游产品的优化升级,满足游客的市场体验需求,从而促进嘉兴旅游业高质量可持续发展。本文运用SWOT分析法对嘉兴饮食文化旅游产品开发的优势与劣势、机会与威胁进行分析,据此提出建设性的开发策略。
文中在梳理国内基本公共服务标准化研究与标准体系建设进展的基础上,总结了“十三五”期间福建省基本公共服务标准化发展的成效与问题,结合需求分析,提出“十四五”福建省基本公共服务标准化发展建议。
当前知名国内外公司麾下的社交网络上,每天都有大量的活跃用户,不断地产生新的内容,积累了大量的数据。新浪微博作为国内门户网站中第一家提供微博服务的网站,提供基于兴趣、信息、内容的关注和交流,是重要的舆情传播渠道。微博中的大部分数据以文本为主,体现了用户对特定社会事件或事物的观点和感受,表达了用户的感情倾向。新冠肺炎对于作为一次波及全球的重大突发公共卫生事件,事关全人类的生产和生活,对于社会的稳定和发
国家癌症中心于2022年2月正式发布的最新研究报告显示,我国平均每天有超过1.11万人被诊断为新发癌症。宫颈癌是由高危人乳头瘤病毒(High-risk human papillomavirus,HPV)感染引起的,是全球女性最常见的恶性肿瘤之一,宫颈癌的发病率和死亡率在2000-2016年间逐年上涨。而卵巢癌(Ovarian cancer,OC)也是全球女性常见的妇科癌症,但是大多数OC患者在非常
自进入21世纪以后,中国经济快速腾飞,居民家庭财富水平显著提高,越来越多的家庭逐渐意识到家庭财富投资的重要性,寻求对家庭财富进行合理配置。逐步开放的金融市场、不断涌现的金融工具、日益便捷的投资渠道无不丰富了家庭财富的投资选择。但是相较于欧美发达国家,我国家庭金融投资水平依旧处于落后阶段。为了更好的推动中国金融稳步发展,做到金融发展服务于人民,有必要研究能够左右家庭金融资产配置决策的关键因素。近年来
目的 探讨中学生的社交焦虑水平与家庭亲密度、家庭适应性的关系,为后续开展心理健康教育与培训工作提供参考。方法 2021年10月采用家庭亲密度及适应性量表(FACESII-CV)、儿童社交焦虑量表(SASC),对上海市某区5所中学的1397例七年级学生进行横断面调查。结果 中学生的高社交焦虑检出率39.23%,女生出现高社交焦虑显著高于男生(x~2=69.893,P<0.01),男生在家庭适应性方面
安徽省是我国农业生产大省,拥有砀山酥梨、符离集烧鸡、肥西老母鸡等知名农产品品牌。本文通过对蚌埠市怀远石榴进行市场调研,并对其进行“十四五”规划期间销量预测,探究其品牌渠道拓展路径。
<正>纪录片《掬水月在手》是导演陈传兴“诗的三部曲”之终篇,以诗人郑愁予《如雾起时》为始,周梦蝶《化城再来人》为续,自言《掬水月在手》思索“诗与存在”。同名传记与纪录片互为补充,“力求以多元视角呈现出一位立体、丰盈、臻于至境的叶嘉莹先生”[1]。电影以古典诗词的气韵流动、立象尽意等诗性表达展开叙事。空间维度上,以四合院纵深影像为主线铺陈物象,厚重深玮。时间维度上,以《秋兴八首》神圣吟咏为副线,交错
期刊
科学技术是第一生产力,而创新是引领发展的第一动力。党的十九大报告指出,我国经济已经由高速增长阶段转向高质量发展阶段,这就对科技创新提出了更为迫切的要求。而金融作为经济结构中的血液,其发展就更离不开科技创新。为了提高科技创新能力,打造创新型国家,2011年,我国第一批科技和金融结合试点启动。为研究金融科技深度融合的政策效应,本文采用双重差分法来衡量这一政策是否为科技创新带来了显著影响。