【摘 要】
:
自动语言识别是语言处理和语言理解的第一步,如何较为准确地检测文本所采用的语言是许多自然语言处理任务(例如:文本自动分类、机器翻译和多语言数据采集等)的首要步骤。近年来,随着自动语言识别研究的逐渐深入,不同种类的语言已经可以达到较高的识别率,但对于语言变体识别而言,由于该类语言资源相对缺乏,语言之间距离较近,语言变体的自动识别仍是一项具有挑战性的任务。大中华区由于受地域、历史、文化、社会环境等因素影
论文部分内容阅读
自动语言识别是语言处理和语言理解的第一步,如何较为准确地检测文本所采用的语言是许多自然语言处理任务(例如:文本自动分类、机器翻译和多语言数据采集等)的首要步骤。近年来,随着自动语言识别研究的逐渐深入,不同种类的语言已经可以达到较高的识别率,但对于语言变体识别而言,由于该类语言资源相对缺乏,语言之间距离较近,语言变体的自动识别仍是一项具有挑战性的任务。大中华区由于受地域、历史、文化、社会环境等因素影响,各地区使用的汉语存在词汇、语法、语用等方面的差异,属于广义现代汉语下的变体。不同于传统的语言学,本文主要从计算语言学和自然语言处理的角度出发,开展大中华区汉语变体识别研究,并着重分析了大中华区汉语变体之间的差异性,主要研究内容体现在以下两个方面:(1)构建集成经典文本分类方法的大中华区汉语变体识别模型本文将经典的文本分类方法,包括传统的机器学习方法和基于深度学习的方法,利用多数投票算法集成构建了一个新的大中华区汉语变体识别模型,并将模型运用在大中华区新闻书面语的识别上。在抓取的分类语料数据集上进行实验,结果显示本文构建的大中华区汉语变体识别集成模型可以综合单个模型的优势,从而取得更好的识别效果。(2)构建基于SENet(Squeeze-and-Excitation Networks)注意力机制的大中华区汉语变体识别模型受融入了注意力机制的经典单个文本分类模型启发,本文构建了一个基于SENet注意力机制的大中华区汉语变体识别模型,利用SENet注意力机制来捕捉大中华区汉语变体之间的差异性特征,动态的增加重要区分性特征词汇的权重。同时在训练中过程中还融入原始词向量特征。实验结果显示,与经典的文本分类方法相比,基于SENet注意力机制的大中华区汉语变体识别模型识别效果有显著提升,对实验结果详细的可视化分析也验证了注意力模型的有效性。
其他文献
随着改革开放的不断深入以及为适应加入世界贸易组织的需要,我国已经逐步建立了较为完善的商标法律制度,形成了内容比较健全、符合国际规则的现代商标法律体系.商标评审制度
公路白改黑施工是提高公路路面使用性能的重要措施,所谓的白改黑施工主要是在原有水泥混凝土路面上铺设沥青混凝土面层,将混凝土刚性路面层改造成为沥青柔性路面。本文主要阐
建立教育评估中介机构是民办高校不容回避的现实,本文从介绍教育评估中介机构的概念、特征、类别和作用入手,针对民办高教发展过程中的问题,提出对于民办高教。应建立“民办官助
目的探讨分析肺错构瘤的诊治经验。方法对2006年1月至2010年12月手术治疗的140例肺错构瘤患者的临床特点、术前诊断方法、手术治疗方法等进行回顾性总结。结果本组140例肺错
论述了正交软件体系结构的基本思想和结构框架,研究了正交软件体系结构的设计与进化过程,并将该过程运用到劳动和社会保险管理信息系统的设计、实现和进化中.实践证明,正交软
接收机自主完好性监测(Receiver Autonomous Integrity Monitoring,RAIM)是设计在导航接收机中的一种算法,利用冗余观测量对卫星故障进行检测与识别。RAIM的优点是对异常观测信息反应迅速,且完全自主,无需外部监测站网络,是导航过程中所必需的处理环节。论文围绕RAIM监测中的用户完好性风险,针对观测信息中的粗差处理方法,主要对以下内容进行研究:(1)抗差最小二乘
创新教育是高校的重要目标。委实现这个目标,关键要有创新型的教师队伍。本文在对化工学院部分教师和学生问卷调查的基础上,对目前教师队伍中存在的不足和应采取的措施进行粗浅
冰雪灾害是贵州省的主要自然灾害之一,文中结合贵州普通公路冰雪灾害的防范及应对处治工作,分析贵州普通公路冰雪灾害应对技术的使用,结合贵州的自然环境及当前国内冰雪灾害
同志们:春节刚过,就把大家召集到这里开会,共商工商行政管理学会的工作,在此,我首先代表国家工商行政管理总局,向各位秘书长及各级学会工作者表示亲切的问候!对在过去一年里,