基于N元分析与词频统计的文本复合标引研究

被引量 : 0次 | 上传用户:memory_prince
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
科学技术的发展已将人类带入智能化的信息社会,使得信息成为重要的资源,但随之也带来了信息资源的爆炸性增长和无限扩张。面对庞大的信息资源,信息处理成为人们有效利用信息必须借助的关键手段。在信息处理中,一项重要的工作就是根据原文信息内容产生简明准确的信息标引,因为信息标引的质量在一定程度上决定了信息处理的效果,也就必然影响信息对于人们的利用价值。在此背景下,研究出低成本、高效率的信息标引方法显得至关重要。因此,本文围绕自动标引技术和方法,以文本信息的自动标引作为研究对象,利用比较分析与实验分析相结合的研究方法,针对N-gram标引和词频统计标引展开研究与探讨。在此基础上,提出了基于N元分析与词频统计的文本复合标引这一新型标引方法。本文主体内容如下:首先,本文从文本和自动标引相关介绍切入,对自动标引的研究发展进行了系统的回顾与总结,重点从自动标引基本理论的宏观层面划分、自动标引发展过程中兼具创新性与影响力的代表性方法纵览以及自动标引研究路线图三方面进行简要论述,继而指出自动标引发展中存在的问题和可能的解决途径,引出本文的复合标引这一研究主题。其次,本文从原理、方法和实现过程三个角度对词频统计标引和N-gram标引两种方法进行较为全面系统的分析与比较,阐述了两种方法在本质上的一致性和方法过程上的互补性,通过引入统计学领域中的条件概率和信息论领域中的信息熵这两个工具,将N-gram标引和词频统计标引有效的复合为一体,提出了兼具二者优势的基于N元分析与词频统计的文本复合标引方法,并对其进行了详细的介绍,给出了具体的实现过程。最后,本文采用实验分析法,通过对比试验,进一步的从实践的角度论证本文提出的文本复合标引方法在理论方面的正确性和在应用实践方面的可行性与有效性,相关实验结果也对本文的方法提供了有力的论证。因此,本文的研究工作具有一定的创新性,同时对他人在自动标引方法的复合研究方面也具有一定的借鉴和指导意义。
其他文献
生命周期-持久收入假说是经济学在研究消费行为中最基本的理论模型,后来发展起来的预防性储蓄假说、流动性约束假说等不确定性消费理论可以说均未根本改变这一框架。由这一假
两型社会建设是经济社会发展的必然要求,我国现阶段提出建设两型社会符合我国当前的国情,顺应时代的要求,对全面落实科学发展观,不断提高资源环境保障能力、实现国民经济健康
2019年2月,青岛市委十二届五次全会把“时尚”作为青岛建设国际大都市的四个定位之一(开放、现代、活力、时尚),并提出要发动国际时尚城建设攻势,这是青岛乃至全国范围内首次
资产证券化自20世纪70年代在美国诞生以来发展迅速,已成为发达国家非常重要的金融工具,并且在全球范围内被广泛应用。中国与发达国家相比,由于独特的金融体制和经济环境,使得
背景:研究已经证实,育儿自我效能能够预测母亲的育儿行为,在孩子出生后及时建立起较高的育儿自我效能是十分重要的。目前,国外研究发现了一些可能会影响育儿自我效能的因素,
现代粉彩摒弃掉传统的束缚,以感性注入粉彩艺术,"随心所欲"地挥洒着情感。现代粉彩的装饰呈多元化,充分运用综合语言装饰,使粉彩具有时代感。现代粉彩则注重意识形式的创作,
中国农科院油料研究所北方繁育基地是中国农科院油料研究所用于油菜等冬季作物杂交和常规材料加代扩繁、杂交品种夏季纯度鉴定、北方生态适应型新品种选育、不同地区品种在北
突出问题导向,以群众需求和满意度为出发点和落脚点,深入开展群众路线教育实践活动和“两学一做”学习教育,按照“一个‘双向三联’工作法+‘一家亲’党群教育服务、‘社区新
《說文長箋》是明末趙宧光撰寫的一部說文學著作。該著作用長語加箋文的方式,對《說文解字五音韻譜》的條貫逐一疏解。自明末以降,學界對其多有批評之聲,然而對於《說文長箋
我国从1995年开始实施《全民健身计划纲要》以来,各项体育活动全面开展。足球作为世界第一运动,其健身功能和作用让越来越多的普通群众接受并愿意参与其中。如何使普通群众享
期刊