基于多维尺度分析的潜在主题可视化研究

被引量 : 16次 | 上传用户:coldbee
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文的研究目标是“使用可视化方法表示、挖掘、早现和解释文本集包含的潜在主题,展示不同层次和观测水平上的潜在主题、发现主题之间的关联,将潜在主题可视化方法应用于特定领域的文本知识发现”。论证了使用词条集合表示潜在主题的原理、在转置向量空间中词的邻近关系表示集聚关系的原理、用多维尺度分析(MDS)将邻近关系投影到低维空间的原理,构建了使用MDS可视化方法挖掘并展示潜在主题的基本流程。本文认为可以找到一组在文本集中具有集聚关系的词条集合来表示潜在主题,将这种集聚关系抽象出来,就能得到从属于同一个主题的词条集合。为了将集聚关系抽象出来,使用词条在转置向量空间中的邻近关系表示词条在原始文本集中的集聚特性,有集聚关系的词条会在高维转置向量空间中相互邻近。由于高维空间不具有可以观测的儿何结构,选择了MDS可视化的方法将词条在高维空间中的邻近关系投影到人们可视的低维MDS空间图中,使用低维的空间对象结构来映射高维空间中的对象之间的关系和结构。由于保持了高维空间中的拓扑结构,从属于同一个主题的词条在低维可视空间中仍然相互邻近,在MD5空间图中形成一个个类团,每一个类团就是一个潜在主题。这个方法流程克服了共词分析和数据库内容结构分析使用MDS进行空间聚类时对统计共现次数和必须事先选定种子词等步骤的依赖。针对可视化展示空间容量的局限,引入了开放式编码的方法,先形成父类潜在主题,再分别进行可视化展示。设计了“先分词、后编码”和“先编码、后分词”两种策略,前者将文本分词得到的词条分成若干个类属,每个类属就是一个父类潜在主题,适用于短篇幅、完全非结构化文本构成的文本集,比如在线问答等网络文本;后者先根据章节标题等文本主题特征将文本划分到不同的子文本集中,再分别进行分词,适用于大篇幅、弱结构化文本构成的文本集,比如招股说明书等商业文本和项目申报书等科技文本。针对MDS在结果可解释性、可理解性方面的欠缺,本文将扎根分析的思想融入到潜在主题可视化的流程中,并进行了流程再造,将潜在主题展示出来以后,返回原始资料解释潜在主题及其关联,定位主题内容、为词条集合提供更丰富的上下文情景,寻找特殊案例、重点案例进行深入分析。为了寻找改进潜在主题可视化方法的突破口,论证了潜在主题及词条的情景依赖特性,结合实证分析中的文本集,提出了潜在主题可视化中三个层次的情景:领域情景、主题情景和上下文情景,为可视化的方法设计提供了理论支撑。为了能在更高的观测水平上研究潜在主题、发现同一层次潜在主题之间的关联,设计了质心邻近矩阵,用词条在高维向量空间中的质心代表一个父类主题,将所有父类潜在主题展示在同一个MDS空间图中,使用户可以忽略具体词条等细节的干扰,聚焦于所有主题及其相互关系的整体视图。同时,质心邻近矩阵的设计也大大增加了可视空间的信息容量。为了解释主题之间的关联、发现新的潜在主题、为潜在主题及词条提供更多的上下文情景,构造了属性叠加邻近矩阵,强关联的父类主题包含的语义信息和细分潜在主题得到整合和属性叠加。最后,使用潜在主题可视化的方法,以计算机应用服务业的97家上市公司招股说明书中关于“风险因素”的文字描述为目标文本集,进行了上市公司风险识别的知识发现。研究结果表明:潜在主题可视化的方法体系成功挖掘、展示并解释了上市公司风险文本中不同层次的潜在主题及其内部结构,发现了潜在主题之间的关联,实现了多层次的知识发现。
其他文献
<正>改革呈现调定位、划范围、控风险三大亮点。中国政府网4月12日公布了国务院对国家开发银行、中国进出口银行和中国农业发展银行改革方案的批复。专家表示,这次改革呈现调
随着互联网不断发展,如今数以亿计的网民可以通过微博、论坛、贴吧等社交平台对热点问题发表意见和建议,时刻都在产生海量的数据。这些数据具有增长迅速、结构多样、动态更新、
目的:探讨中西医结合治疗及单纯西医治疗在原发性高血压的血压控制和症状改善方面的疗效。方法:严格根据诊断标准及纳入、排除标准将2012年1月-2014年1月辽宁中医药大学附属医
优化人力资源结构以夯实事业单位可持续发展基础,加大专业技术职称改革力度以强化事业单位能力建设,是当前事业单位改革相互密切关联的两大重点。对此必须坚持科学发展观和以
城市轨道交通以其安全、快速、正点及运量大的特点而被各大城市采用,运营里程不断增大。城市轨道交通的迅速发展,缓解了城市交通压力,方便居民出行,然而也带来了巨大的电能消
民办幼儿园在学前教育领域起着举足轻重的作用。在学前教育大发展的背景下,西安市民办幼儿园的数量与日俱增,满足了家长和社会对学前教育的需求,缓解了“入园难”的问题,弥补
<正>对于准朔铁路接下来的命运,有民营投资方的高管分析,珠江投资、太原局还会继续协商,如果珠江投资仍然态度坚决,太原局将有可能采取法律手段,支持准朔公司,将珠江投资拖欠
随着社会的发展,越来越多的新名词在人们的视野中出现,并被人们接受和使用. 当“第三产业”出现后,“服务业”成了人们经常谈论的话题,随之“旅游业”也出现在人们的视野中,旅游又
<正>2019年6月25日,国务院印发了《关于实施健康中国行动的意见》,其中合理膳食的内容节录如下:合理膳食是保证健康的基础。近年来,我国居民营养健康状况明显改善,但仍面临营
历史上长期存在的高度"碎片化"的政治格局、政治体制效率低下、政治腐败严重以及人民对政治体制的不信任是厄瓜多尔产生"21世纪社会主义"的根本原因,而拉美左翼在拉美许多国