【摘 要】
：
2003年在日本扎幌举行了第一届ACL-SIGHAN国际中文分词竞赛.这次竞赛指定专门的训练语料与测试语料,统一用一个Perl语言编写的程序进行分词系统评测,整个评测过程是完全自动化且公平的.本文试在各参赛队提交的系统分析报告的基础上,比较目前中文分词所采用的新方法,分析各种方法对最终分词结果的影响,从而找出分词系统研制的重点和难点.
论文部分内容阅读
2003年在日本扎幌举行了第一届ACL-SIGHAN国际中文分词竞赛.这次竞赛指定专门的训练语料与测试语料,统一用一个Perl语言编写的程序进行分词系统评测,整个评测过程是完全自动化且公平的.本文试在各参赛队提交的系统分析报告的基础上,比较目前中文分词所采用的新方法,分析各种方法对最终分词结果的影响,从而找出分词系统研制的重点和难点.
其他文献
基于关键字的传统检索方式不能满足高质量的检索需求,Ontology理论和技术为智能信息检索提供了解决方案,ontology具有的概念模型、明确性、形式化、共享性使检索中的语义理解与计算成为可能,文章分析了面向信息检索的ontology的层次结构与特征,阐述了基于ontology的智能检索的运行机制,并以实例说明了其在深层次检索中的优势.
本文分析了名词照应语"这/那+NP"在25万字语料中的照应情况,分析结果说明通过判断"这/那+NP"和候选名词短语的中心词是否相同或是否具有某种语义关系,就能确定约70﹪的"这/那+NP"的先行语,根据这一结果本文提出了一个计算机自动消解此类照应语的启发式算法,为名词照应语的消解提供了一些思路.
新词识别一直是中文信息处理所关心的话题.本文针对三字新词的构造特点,并以训练语料为例,着重分析了含词尾的三字新词在自动识别时的重点和难点,从而进一步提出我们的解决方案,介绍了实现的过程及算法.最后,通过分析测试语料的识别结果,总结出此方案的优劣及改进方向.识别结果表明,该方案对提高新词识别的精确度有较大帮助.
英汉词对齐技术中经常会遇到非登录词和因汉语的多样性和灵活性而产生的不利因素,直接或间接影响双语句对中词对齐的质量;但其本身具有的信息有利于改善词对齐质量.本文就是希望通过建立基于双语句对语料库的词对齐模型将句对之间的信息加以改进.主要包括:吕学强在其博士论文中提出的最小求交和最小求差模型以及这两种的混合模型(Ⅰ,Ⅱ).试验得出在特定词频条件下,混和模型(Ⅰ)具有相对较佳的效果,正确率达到0.786
本文提出了一种从未经标注的双语口语语料库中自动获取机器翻译模板的方法.这种算法是一种无监督的、基于统计的、数据驱动的方法.这种方法有两个基本的步骤.首先,通过语法归纳分别从源语言和目标语言中获取语义类和短语结构类.然后,利用双语划界文法将短语结构类进行对齐.对齐的结果经过后处理就可以得到翻译的模板.初步的试验结果表明,本方法可以达到比较令人满意的效果,是有效的和切实可行的.
本文征对中小学信息化基础教育的需求特点,对教学资源的搜索引擎进行了一个特色规划,主要完成教学素材的智能搜索和主动推送;并在教学资源库建设方面首次提出为教学素材加文摘性的标注(即为教学资源库添加一个文摘系统)及其利用文本分类技术将大量教学素材自动入库的想法;同时分析了关于构造分类字典和教育语义网的构想,最后阐述了系统特色和一些潜在的问题.
词聚类算法对自然语言处理具有重要意义.Brown1990年提出了一种经典的词聚类算法,但是由于算法本身的复杂度较高,故难于对大规模语料进行处理(Brown文中提到词数超过5000便是不可行的).本研究中我们尝试着对上万词数的中文词语料进行了实现.并且,针对算法时间复杂度高,不能应用于更大规模语料库的问题,提出了一个加速改进思想.在近似的情况下,它可以降低原算法一阶复杂度.本实验所用的语料来自人民日
EBMT技术的关键问题之一是如何能取得较好的翻译单元.传统的方法有通过双语语料的词语对齐来取得对译片断,也可通过对句子的分析(如依存分析)、根据句子分析结果来获取翻译单元.然而词语对齐或句子分析结果都存在一定误差,这对翻译单元的抽取产生了负面的影响.本文试图通过汉英双语标志词(Marker)找到一种新的翻译单元的抽取的方法.该方法不需辅助的自然语言处理技术,在关于奥运的体育领域的上获得了较好的效果
知识表示(Knowledge Representation)是人工智能领域中一个核心问题,因为对知识共享和知识交换的需要,本体论(Ontology)被引入到人工智能领域中来.可以将本体论中的概念视为知识(Knowledge),但考虑到习惯用法本文将同时使用"知识"、"概念"这两个术语.考虑到OWL的优点,本文提出了基于OWL的知识表示法.
内容安全是网络安全领域的新课题,本文采用了基于网址过滤和基于内容关键字的过滤相结合的思想,建立了一个通用的互联网WEB信息内容过滤模型,并对其中的关键技术进行了分析.