基于中英文主题向量空间的文本分类算法

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:hufeng274240003
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的飞速发展,互联网上的各类信息呈现出爆炸式的增长。其中,非结构化的文本信息是很重要的一部分,它通常涉及了政治、经济、科技、文化和娱乐等人们生活的方方面面。文字的出现已经有几千年的历史,互联网的发展赋予了文字更多的功能和含义。互联网上积累的文本数量已经大大超过了过去积累的传统文本信息。如何在海量的文本信息中提取出所需要的有用信息,是自然语言处理的重要任务之一,对于进一步提高人们的生产效率,提供更好的生活体验都具有重要意义。文本分类是实现海量文本信息中有用信息提取的关键技术之一。文本分类算法可以应用于文本信息处理的许多领域,如信息检索、情感分析和新闻推荐等等,研究高分类准确度,低计算复杂度的文本分类算法具有重要的理论意义与实际价值。本文的主要研究内容包括:1.中英文主题向量空间的构建为了克服基于词粒度的自然语言处理算法复杂度过高的缺点,本文考虑文本-主题-词的三层文本表示结构,在主题层面上研究自然语言处理算法。本文利用从语料库中提取的全局词共现矩阵,通过泊松无限相关模型构建了一个可变维度、实值的主题向量空间。这实现了主题的向量化表示,使主题能够作为向量直接参与数值计算过程。另外,针对中文情况,本文提出了多层级主题向量空间的构建方法。不同层级的主题向量空间对应不同深度的主题。利用实际中英文分类数据集的实验表明,本文算法提取的主题向量空间能够较好地应用于文本分类算法中。2.基于主题向量空间的文本分类算法针对以词为对象的文本分类算法复杂度过高的缺点,本文利用上述构建的主题向量空间,提出了一种新的文本距离测度-主题移动距离。两个文本之间的距离定义为文本一中的所有主题匹配到文本二中所需移动的最小累积距离。其中,两个主题之间的距离通过主题向量空间中两个主题向量的欧氏距离衡量。利用实际中英文分类数据集的实验表明,本文算法能够在保证较高分类准确度的前提下,实现较低的时间复杂度。
其他文献
钢渣是我国工业化进程中残留最多的固体废弃物,提高钢渣的利用率已经成为固废处置的重点关注方向。现有研究表明钢渣具备胶凝活性,与硅酸盐水泥相比,水化活性不高,同时含有危害成分。目前国内外主要采用碱性激活与酸性激活方法,不能很好的发挥钢渣粉的潜在活性,未能挖掘钢渣的潜在经济价值。本文依托G207线长治过境段公路改建工程,以太钢钢渣微粉为研究对象,选取中性复合化学激活剂激活钢渣微粉活性,对激活钢渣微粉-水
本文设计了一种S频段宽角扫描的相控阵天线系统,该天线系统可以实现空间锥角±60°宽角扫描,同时还可以覆盖±75°的空域。此外该系统还具有低剖面、圆极化、宽波束的特点,分
《华尔街日报》作为美国以金融报道为主的第三大综合性报刊,是美国经济面向世界的窗口,是国外读者了解美国经济的重要途径。为进一步了解美国在中美贸易战期间的经济政策和经济趋势,笔者选取了《华尔街日报》2019年6月-8月刊中的十五篇文章作为本次实践报告的翻译素材。本文以此15篇财经新闻报道为基础,结合克里斯汀·诺德的“功能+忠诚”理论,从财经新闻的语言特点入手,探讨译者在翻译财经新闻中应采用的翻译策略和
随着科学技术的发展,多智能体系统理论已经广泛的应用在众多领域中,如无人驾驶车辆系统、无人机集群、无人机编队、大规模分布式移动传感器网络的自主配置、卫星的姿态控制以
近年来,我国的课程在不断地改革,对于课程的改革,教师是实施改革最关键的因素也是主要的实施者和参与者。那么,推进课程改革需要提升教师的专业发展。同时教师的专业发展可以体现在课堂教学中。公开课是课堂教学中常见的课程形式。它是教师有组织,有目的向一些特定人群公开的授课。公开课的目的是为了探索教学规律和教学方法。同时公开课也给教师们提供了展示教学技能和交流教学经验的机会。因此,公开课对教师专业发展具有重要
图像融合(Image Fusion)是指将多传感器或同一传感器不同时间、不同空间对同一目标获取的图像进行信息集中和综合的二维图像处理技术。最大限度的利用了不同图像的冗余信息和
随着能源消耗和气候变暖的加剧,国内外已经开发了许多清洁能量转换技术(例如燃料电池,金属空气电池以及CO2和N2还原),以缓解能源危机和气候问题。对于这些清洁能源转换技术,高
福建省是我国南方重点林区,全省林业用地面积O.09亿hm2,占土地总面积的74.2%。其中有林地面积735.33万hm2,森林覆盖率达62.96%,居全国第一位;全省活立木蓄积量4.18亿m3,居全
会议
社区不仅是居民生活的基本单元,也是维持社会良性运行的基本单位。社区安全对实现社会安全有着重要意义,当前社区安全正面临着新的形势与挑战,必须转变传统安全治理思路,创新社区公共安全治理机制。现在我国着重打造社会治理新格局,强调社会协同和公众参与,基于我国社会治理新格局,共建、共治、共享理念,重新思考社区公共安全治理中如何做到共建、共治、共享。安全社区建设为社区公共安全治理提供了重要依据和思路,在安全社