藏文疑问句句法分析关键技术研究

来源 :青海师范大学 | 被引量 : 1次 | 上传用户:qyqwoaini
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
句法分析是自然语言理解的一项基础技术,是迈向深层语言理解的基石,在语义分析、问答系统、搜索引擎、信息抽取和检索等许多自然语言处理任务中不可或缺。随着信息技术的不断进步和发展,对句法分析技术的要求也越来越高,越来越多的人工智能应用程序依靠句法信息来处理和提取文本或语音中的含义。但是由于研究力度不足、数据资源匮乏和技术水平欠佳等原因,藏文句法分析的研究还未取得重大突破。研究藏文句法分析时,很多研究者对所有藏文句型展开了研究。然而不同藏文句型的语法结构及句法特征存在明显差异,从而影响了藏文句法分析的整体效果。如果针对某类句型,根据其特性研究句法分析,可以提高藏文句法分析的性能。疑问句是一种常见的藏文句型,也是藏文问答系统、搜索引擎、信息抽取和检索等问题中的主要句型。因此,本文针对藏文疑问句,从以下几个方面研究藏文疑问句句法分析的相关技术。(1)藏文句法分析语料库构建通过研究网络爬虫技术,结合藏文自身的特点,设计了一种藏文网页文本的爬虫算法,完成了藏语语料的采集,并对其进行了预处理。在此基础上,通过分词、词性标注、句子抽取、短语标记和句法标记等环节构建了规模为2500句藏文句法分析语料库,为藏文疑问句的识别及句法分析奠定了基础。(2)藏文疑问句识别通过对藏文疑问句进行分类和归纳各类疑问句的结构特征,设计了一种基于句法树的藏文疑问句识别算法。根据设计的算法开发了基于句法树的藏文疑问句识别系统。最后通过设计不同的实验,分别考查了算法的分类和识别效果。实验表明,算法取得了较好的分类和识别效果,分类的平均准确率、召回率和F值分别达到96.98%、100%和98.39%,识别准确率、召回率和F值分别达到98.21%、100.00%和99.10%。(3)藏文疑问句句法分析根据藏文疑问句的分类和归纳的结构特征,训练了基于PCFG(Probabilistic Context-Free Grammar,PCFG)的藏文疑问句句法分析模型,完成了藏文疑问句句法分析,并开发了基于PCFG的藏文疑问句句法分析系统。最后通过设计不同的实验,分别考查了不同规模训练语料的句法分析效果。经实验测试,在开放测试集上的最高准确率、召回率和F值分别达到96.0%、96.1%和96.1%,句法分析效果相比基准实验的F值提高了5.40个百分点,表明根据具体句型(本文选择的是藏文疑问句)及其特征,对其进行句法分析可以取得更好的实验效果。
其他文献
夹层板结构凭借其优越的力学性能,在众多工程制造领域引起了广泛的关注,其中在船舶工程和航天工程等领域最为显著。作为一种新型板材结构,其比较典型的结构特点是轻量化、板架形式简单,由于有些夹层板芯层为特殊材料或结构,所以吸能性能显著,且抗疲劳、抗腐蚀,同时空间利用率高,并且具有滤波、抗冲击和减振降噪等优点。在船舶制造中,为简化由于船体骨架和板材特殊的布置方式导致的复杂结构形式,常常使用夹层板结构从而有效
土体经过沉积作用后,表现出结构性,使之与重塑土特性有差异。工程上结构性土的压缩屈服过程受应变速率及加荷速率影响。本文选取福州市仓山区与马尾区天然沉积土,通过对原状
光电导天线、量子阱光电探测器等太赫兹源和探测器的出现,极大地促进了太赫兹技术的发展。近年来,太赫兹技术已经被广泛应用于生物医学、无损检测、环境监测、安全检查、无线
极速发展的信息技术和快速普及的移动终端促进了信息的传递,日益增长的文本数据成为人们了解信息的重要来源。文本语义相似度计算的应用场景越来越多,对短文本而言,信息检索
我国竞技体育发展的成功经验,充分证明了对教练员的培养具有重大的战略意义。教练员在羽毛球运动的发展过程中担任着最重要的角色,对教练员培训的评估工作也是我国羽毛球事业
滚动轴承是众多工程领域内旋转机械中最为常见且最不可或缺的部件,它常处于变转速及变载荷工况条件下被使用,所处环境十分恶劣,导致成为最易受损的部件之一,其运行状态的好坏直接影响着系统的运行。因此,在非平稳状态下滚动轴承的故障特征提取是早期监测以及后期故障诊断最为关键之处。共振解调技术是目前最为常见的轴承故障诊断方法,但要求恒定转速作为前提条件,实际工作中轴承的变转速运行及齿轮啮合的干扰,终将导致以共振
针对非线性系统的研究越来越广泛,典型非线性系统,如混沌系统,神经网络等是目前的研究热点。现场可编程门阵列(FPGA)与传统的大规模集成电路相比,具有可重构性好、并行性高的
卫星定位数据是由卫星定位系统产生的测定目标当前地理位置的数据,被广泛地应用在军事、民生及科研领域。然而,卫星定位数据与目标的实际位置不可避免地有一定的偏差,给定位
随着数字集成电路的飞速发展,越来越多的模拟集成电路向数字方向靠拢,但其中,作为连接模拟信号与数字信号的桥梁,模数转换器(Analog to Digital Converter,ADC)仍然是通信系
我国是世界上高原海拔最高、人口最多的国家。随着高原地区经济、社会的迅速发展,急进高原的人数与日俱增,缺氧导致的急性高原病(Acute Mountain Sickness,AMS)成为急进高原