论文部分内容阅读
机器学习与人工智能的研究发展迅速,机器能够理解的知识也日益复杂,在诸多高级算法的研究中,自然语言处理是一个火热的研究领域,其目的是使机器理解原生的人类语言信息,并做出合理准确的判断。神经网络算法是自然语言处理中一个十分有效的方法,神经图灵机作为神经网络上的一种改进模型,在诸多实际任务中效果显著;深度强化学习的研究赋予了机器不断成长的能力,使机器能够从失败中学习,总结经验,做出调整。考虑上述两大模型的优势,针对传统自然语言处理模型在语义逻辑处理和关键词提取上的不足,以及语句结构调优上的不足,本文分别研究了结合注意力机制的神经图灵机方法,以及应用于自然语言处理上的深度强化学习方法,最终将两者结合共同作用于自然语言处理。首先,提出了基于词级注意力的神经图灵机模型。针对现有自然语言处理模型逻辑理解与记忆能力不佳、语句关键词难以获取的问题,借助神经图灵机对语句序列建模,加强模型对词语的逻辑处理和长时记忆能力;同时在语句的隐层特征上添加注意力层,在词语层面进行权重计算,加强语句关键词作用,提取关键词信息。其次,提出了基于深度强化学习的语句结构生成模型。针对现有自然语言处理中语句结构难以调优且人工干预较多的问题,使用深度强化学习方法优化语句结构的生成策略,筛选语句中的词语。根据具体语境和语言处理任务精简语句结构,使用语句生成模型支撑神经图灵机模型的预测,使两模型形成对偶形式,共同训练,共同提高。最后,将上述两模型结合,设计并实现了基于强化学习图灵机的舆情分析系统。针对现有自然语言处理模型的工程性应用较少、而舆论舆情信息分析需求较大的问题,将本文提出的深度强化学习与神经图灵机相结合的模型进行了封装和代码重构,设计了舆情分析系统界面与业务流程,最终舆情分析系统很好的完成了舆情信息的收集、处理、分析、归档等操作。