领域词典和统计分词相结合的非物质文化遗产分词算法研究

来源 :华中师范大学 | 被引量 : 1次 | 上传用户:lixinghui318
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在信息时代里,用户从海量的文本中获取相关性强的数据信息变得越来越困难。中文分词可以将一系列字段按照一定的规则划分为独立的、可识别的字段,从而让计算机读懂文字的原意。非物质文化遗产是一种具有重要价值的文化资源,当前互联网中存在大量的非物质文化遗产专有名词,常规分词算法难以对其正确切分,因而严重影响了非物质文化遗产领域一些长文本的检索、聚类、个性化推荐和情感分析等应用。因此,正确识别并切分非遗领域的特殊名词,是当前非遗领域亟待解决的一个重要问题。为了提高非遗领域文本分词的准确率,本文设计一种领域词典与统计分词相结合的分词算法。本文主要研究内容如下:1.非物质文化遗产领域词典构建。将中国非物质文化遗产网上的项目名录和传承人名录下载并经去重等人工处理,形成非遗领域的项目和人名专题词汇表,并从搜狗、QQ等输入法的相关领域词库中提取部分非遗专有词汇,与已有的开放中文地名和历史名人词库相结合,以此构建自定义的非遗领域词典。2.领域词典和统计分词相结合的非遗分词算法研究。依据前缀词典实现高效的词图扫描,生成对输入句子中汉字所有可能成词情况所构成的有向无环图。然后使用动态规划的方法在有向无环图上找到一条最大概率路径,依据此路径进行分词,找出基于词频的最大切分组合。最后对于未登录词,使用隐马尔科夫模型,并结合维特比(Viterbi)算法找出最可能出现的隐状态序列,即可得到分词结果。采用中文分词领域的标准测试数据集和两篇随机摘选的非遗领域新闻报道文本作为实验数据,并将本文算法和几种主流的分词算法进行了分词实验对比。实验结果表明,本文设计的领域词典和统计分词相结合的分词算法相比于其他分词工具在非遗新闻数据分词方面具有最高的精度,其准确率均超过了 95%,综合评价指标F值也超过了 0.93。分词结果证明本文算法能够准确地从非遗长文本中切分出正确的词汇,而且还能通过上下文信息和互信息等,组合并构建出新的非遗术语,能够较好地识别出非遗文本中的未登录词。分词结果也表明,本文算法在歧义词切分方面能在词典和统计分词模型二者之间取得平衡,具有较强的歧义字段切分能力。因此,在非遗领域词典相对完善的情况下,本文设计的分词算法能够较好地解决大部分非遗领域长文本的分词问题,并具有较高的分词精度。
其他文献
随着经济社会的不断进步和科技产业的大力发展,居民物质消费水平和生活水平随之提高,由此而来的结果是城市生活垃圾产量成倍增长,城市治理中的垃圾分类处置已成为急需解决的问题。而生活垃圾的源头分类与处置,则是城市垃圾治理中的一个关键环节,它直接能够影响整个国家的垃圾分类政策实施,也影响到可持续发展理念的贯彻执行。垃圾分类处理能够促进社会资源的有效整合,为了保护环境、避免资源浪费,垃圾分类是发展的必然趋势。
学位
民俗作为地方历史发展的产物,对于研究一个地方的文化以及了解这个地方的历史和人文发展情况来说具有十分重要的作用。民俗文化的研究也是区域发展研究的重要方式,我国民众们在漫长的历史长河中不断繁衍生息,形成了各个地方不同的婚俗文化,婚俗文化也是我国历史的重要积淀。本研究从研究婚俗文化着手,选取了具有丰富婚俗特色的福建省福州市作为调查区域,并且采用实地访谈法和案例研究法,结合文献分析,对福州当地的婚姻形式、
学位
疫情爆发后,经济活动和社会发展均受到了严重影响,重振经济和稳定社会是当前的迫切需求,联合办公空间的环境健康面临巨大的危机和挑战。文章对后疫情时代背景下的联合办公建空间环境进行了弹性设计、场所防护和使用者心理三点需求解析,并深入研究了符合社会现状的联合办公空间的空间弹性设计、重点技术的加强以及提升场所舒适度三个方面的设计策略,力求实现后疫情时代联合办公空间的最大化实用与创新。
期刊
为满足众创模式下创业团队的办公需求,本研究从实用性、灵活性角度出发,对联合办公空间进行了优化设计。首先介绍了联合办公空间的功能空间组成,包括办公空间、独立会议空间、共享空间和辅助空间四部分。随后重点对办公空间的平面布局方式和工位排布方式展开了设计,创造性的提出利用偶遇式空间增加创业团队成员之间的交流联系。最后从空间功能转换、消极空间利用、家居化空间布置等角度,总结了共享空间的设计要点。本研究设计的
期刊
报纸
北魏作为鲜卑异族的政权,其早期社会的风俗文化和中原有所差别,平城时期的营造文化亦然,形成了“胡汉相杂”的营造文化。太华殿是北魏平城时期文成帝到孝文帝前期极为重要的宫殿之一,也是“胡汉相杂”的营造文化的典型代表。太华殿作为北魏的重要宫殿,在北魏政治发展中,提供了解决王朝事务的空间载体,对国家和社会发展起到了巨大的作用,见证了平城中朝政治的流变与发展。复原太华殿能够了解北魏的建筑营造文化和政治建筑载体
期刊
报纸
构建以地铁为代表的现代轨道交通运输体系是缓解各大中心城市地面交通压力的首选方案,亦是推动城市化发展进程的强劲动力。地铁车辆无一例外均采用电力作为牵引动力,但地铁直流牵引网在工作中极易发生威胁性大、损害性强的线路故障。受行车密度过大和车辆工况多变的影响,既有馈线保护误动作频繁发生,这无疑给地铁安全运输带来严峻的挑战。因此,有必要在分析牵引负荷特征的基础上,通过建立计及车辆的牵引供电系统开展实时仿真,
学位
随着移动互联网的快速发展,近些年来,像抖音、快手等移动短视频平台在中国呈现出强劲的发展态势,同时,在国际上一些短视频平台如Tiktok也受到了广泛的欢迎。然而,由于短视频数量的爆发式增长,使得短视频的“信息过载”现象愈加严重,为了缓解并解决短视频的“信息过载”问题,必须要有有效的推荐算法来帮助用户找到他们感兴趣的短视频。本文所说的短视频,是指强社交性、低门槛性、观看便捷、时长短小的视频,短视频通常
学位
崇光宫是北魏献文帝拓跋弘禅位后居住的宫殿,据史书推测其位置大约在都城平城北郊。文章试图通过《水经注》和《魏书》有关崇光宫的记载,结合鹿野苑石窟的位置,将崇光宫遗址限定为距鹿野苑石窟东至南半径为4~6公里的范围内,结合已有考古资料推测大同站东北魏建筑遗址为崇光宫遗址,并通过文献资料推断崇光宫营造年代上下限。通过对史料记载崇光宫的现实状况和更名情况的探析,认为崇光宫并非荒野陋居,且崇光宫更名宁先宫是在
期刊