论文部分内容阅读
近年来,随着金融领域的不断发展,金融信息查询越来越受到人们的关注,然而传统的关键字查询难以满足金融领域用户的需求;因此语义查询方面的产品越来越受到人们的期待;然而语义解析过程是复杂多样的,在大规模真实文本的分析过程中,发现在以词为粒度的基础上进行句子的解析是很困难的,如果先进行句子的文本块分析;在此基础上再进行解析过程,能显著的提高解析的正确性,降低解析的复杂度。现阶段,用户输入查询问句时所采用的输入法基本都是拼音输入法,因而不可避免的就会输入拼音正确但是汉字错误的问句,为了提高问句解析系统的用户体检,因此出现了基于拼音的文本校对。本文所研究的内容为财经问答系统问句解析预处理子系统,包含了两个功能,基于拼音的文本校对以及chunk划分功能。基于拼音的文本校对,首先把用户输入的问句序列转化成为独立的拼音序列,之后使用多元文法、三元文法、二元文法进行填充,填充过程中考虑用户输入的汉字序列,填充之后如果没有产生歧义,则进行文本校对,反之不进行文本校对。对于chunk划分,本文中采用了三种不同的方法:最短路径法chunk划分、基于CRF chunk划分以及基于神经网络chunk划分,设计并实现了相应的使用方式;最短路径法使用类似于词典的分词方式进行;CRF chunk划分将chunk划分问题转化为标注问题,通过求解最优的标注序列,达到进行chunk划分的目的;基于神经网络的chunk划分首先需要进行分词,把问句序列转化为节点序列;之后通过在每一节点序列后添加chunk标记,查看该序列的可能性是否增加,如可能性增加,说明在该标记位置需要进行chunk划分。通过实际的测试发现,基于词典最短路径chunk划分,不能处理未加入词典中的chunk问句;CRF chunk划分方式虽然能解决未登录chunk问句,但标记信息过于简单,当训练语料增大时,对训练语料的预测出错比例显著增大。使用神经网络方式进行chunk划分时,预测耗时显著增加,但是对问句进行泛化是一个很好的思想。通过以上研究,进行chunk划分的合理方式为使用CRF方法进行,同时对问句进行适当泛化。最后经过测试后,证明本子系统满足了解析系统的需求,大大提高了财经问答系统用户体验,同时在很大程度上降低了解析复杂度,正确性和性能上都有很大提升。