文本特征选择方法的改进及其在情感分析中的应用研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:greatteset
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网高速发展,海量数据得到迅速累积,数据存储形式多元化,文本数据广泛易获取,如何最大程度有效挖掘这些文本数据中蕴藏的价值信息是值得深入研究的。本文首先展开介绍情感分类的主要流程知识,之后针对文本特征筛选阶段中不同的特征选择方法存在的不足提出对应的改进方法,并通过从微博网络平台所爬取的有关新冠疫苗主题文本数据进行文本的情感分类,对分类后各类别的文本结合LDA主题模型挖掘其中的情感主题,一方面不仅能够了解各个类别的情感主题聚焦点,另一方面也可以根据主题词是否表达清晰来反映出分类是否准确。故最后本文主要完成了以下工作:(1)针对传统的卡方统计特征选择算法存在“偏袒低频词”的缺陷从而结合TFIDF权值矩阵来提出TFIDF-CHI指标计算方法,通过数值模拟表明该方法可以运用到文本特征选择,后续提出利用分类评估指标AUC得分来完成特征选择阈值确定实验,基于该方法完成情感分类后继续对各类别的文本进行LDA主题挖掘。经过实例证明,该方法不仅避免了忽略高频词,而且最后主题展示清晰,侧面证明该算法有效地提升了分类器的分类效果。(2)CDW文本特征选择方法虽然可以筛选出具有强类别指示意义的特征词,但未考虑同频词的分布不同所带来的影响,因此结合变异系数CV来调整CDW方法提出构建ACDWCV筛选指标,实例分析结果证明该方法是有效的,在消极类别的查全率远超改进前的方法,且消极类别主题关键词更加全面清晰也可看出该方法能够较准确地识别出消极类别的文本。
其他文献
随着互联网技术的快速发展,5G的广泛应用使得信息传播变得更为简洁和方便。新的媒体形态出现,信息传播者逐渐向移动终端聚集,形成了独特的移动社交形式,这对现有的舆论环境乃至社会发展都产生深刻的影响。新冠肺炎疫情的迅速爆发和大范围的蔓延不仅威胁到全球公共卫生安全,还导致各种谣言、反转新闻的频发,主流媒体和自媒体的互动成为了学界关注的热点。在疫情常态化背景下,主流媒体和自媒体都发挥着各自的社会功能,但由于
股票市场的预测是深度学习领域中最具挑战的应用之一,股市的数据复杂多变,具有很强的波动及数据集的庞大等特性。现有的研究方向大多为有监督的方式,如传统的机器学习法,将需要训练的数据通过标记为股票市场的正面或者负面的时刻,但是用这种方法训练出的机器学习分类器可能会出现过拟合等现象,所得到的预测效果并不尽人意。考虑到影响股票预测的因素众多,且在股票市场交易中会产生大量交易数据,同时交易模型有自身局限性,如
近年来,油污染和众多重金属污染场地已被国内外证实并非单一污染,二者往往相伴而生,形成复杂的复合污染。特别是早已被列入到我国危废名录中的润滑油污染,环保要求更为严格,无害化处置更为困难,缺乏复合污染修复技术。本文以重金属和润滑油复合污染土壤样品为分离源,分离出具有耐受重金属同时降解润滑油的功能型菌株。探究了其复合污染环境中生物降解特性,并利用数学模型探究其润滑油降解规律,优化了生物降解条件。在室内小
本文由引言、正文、结语三个部分组成,其中正文从四个部分对我国基层检察官职业教育的情况进行了粗浅的探讨。第一章,基层检察官职业教育概况。探讨了职业教育、检察官职业教育的概念,检察官职业教育的任务、特点和检察官职业教育的作用。第二章,我国基层检察官职业教育的现状。该章节主要围绕我国现行检察官职业教育的法律规范文本分析,现阶段基层检察官接受职业教育的主要平台,并以一基层检察院近三年来各级各类教育培训的数
近年来,少数政府部门执法人员所产生的违法违规行为在网络上日益累积、扩大、演变,在较大程度上影响了公众对政府部门行政执法工作的满意度水平,严重损害了政府部门的社会公信力和形象,也对国家经济的可持续发展造成了不利影响。提升公众对政府行政执法工作的满意度,是扭转政府公信力、树立良好政府形象的重要环节。因此,完善政府部门行政执法,提升公众对政府部门执法的信心是当前推进服务型政府建设面临的一个重大课题。本文
高等职业技术教育的发展是我国高等教育改革的重要成果,高职院校所开设的大学语文课程是重要的公共课,也是所有专业学生都需要学习的科目。通过学习,有助于学生提升语言理解能力、表达能力,拓宽其认知视野与知识范畴,并最终促进中华文明传承。现阶段,新疆各高职院校都开设了相关课程,各级部门、学校都予以了足够的重视。本文着眼于微观的课堂教学,以新疆X职业技术学院为例,在质的研究思路引导下综合运用多种研究手段考察其
中国老龄化形势严峻,城市养老资源有限,供需结构矛盾突出。与此同时,随着我国经济水平不断提高,人们对养老生活环境有了更高的要求。城市近郊拥有优于市区的自然生态环境,其养老价值日益受到关注,成为缓解城市养老压力的突破口。通过对长沙市近郊农庄的发展现状及老年人的康养意愿进行实地调研与问卷调查,采用文献查阅、归纳总结与实证应用等研究方法,坚持以人为本的环境建设与产业发展理念,探讨主要以老年人为服务对象的长
近些年来,随着锂电和储能行业的迅猛发展,锂离子/锂电池在大功率动力、便携式家用和电力储能等方面受到了广泛的关注和应用。隔膜作为电池中电芯的重要组成部分,其安全性和创新性决定着整个电池在不同工作状态下的可靠性和多次充放电可持续性。目前,为了改善常规聚烯烃微孔隔膜的高温尺寸稳定性以及电解液浸润性,行业中普遍采用无机陶瓷粉末进行单面或者双面涂覆,但是这种无机陶瓷涂层受外部挤压时无疑将加重对聚烯烃基膜的破
全球制造业呈现积极的服务化发展态势,并已上升到国家战略层次。然而,现阶段我国制造企业服务化程度普遍不高,同时关于服务化的相关研究大部分集中在产业层面,基于企业层面的相对匮乏。一方面,企业层面缺乏可客观衡量服务化效能的评价标准,无法合理评估自身的服务化效能,另一方面企业在实施过程中服务化失败率较高。因此,基于什么标准评价制造企业服务化效能?哪些因素导致企业服务化失败?企业如何摆脱服务化困境是当前亟需
苹果腐烂病是由真菌黑腐皮壳菌属(Valsa spp.)引起的一种严重的枝干皮层腐烂病害,在我国苹果园中普遍发病,严重影响了苹果的产量和品质。为了控制病害,又能最大限度地减少农药用量,因而,生物防治在果树病害防治体系中占据越来越重要的地位。其中,芽孢杆菌因其易分离培养、对病原菌拮抗作用显著、抗逆性强以及定殖能力佳等特点,被视为一种极具应用前景的生物防治剂。因此,本研究从筛选对苹果腐烂病原菌具有抑制活