论文部分内容阅读
摘 要：人工智能技术的推动下，深度学习与NLP的联系更为紧密，并推动了NLP的进一步发展。本文就如何打造NLP文本分类深度学习方法库进行了回顾性的分析，对其建模原理及模型细分进行了总结，将为这一研究的深入提供一定的参考。
关键词：深度学习;NLP;方法库
随着NLP（神经语言程序学）研究的不断深入，其重要的应用价值开始在机器翻译、情感分析、智能问答、文摘生成、文本分类、舆论分析、知识图谱等领域有所体现[1]。与此同时，以深度学习技术为核心的人工智能得到了广泛的关注，成为一个新的研究热点。这一技术与PLB的耦合，推动了NLP的新发展。打造神经语言程序学文本分类深度学习数据库即NLP文本分类深度学习方法库作为其中的基础环节成为研究中的一个重点。NLP文本分类深度学习方法库建立的目的可为探索以深度学习为主要技术的NLP分类方法提供海量的研究资源，这一学习方法库还具有文本分类的各种基准模型。同时NLP文本分类深度学习库也支持多标签的分类，且这些标签与句子或文档可以形成一定的关联。这些模型的建立将使得后续的研究有了重要的支点。在实践中发现，打造NLP文本库的过程中，有一些较为经典的模型是比较适合作为学习库的基准模型。
在此次研究的过程中，采用两个 seq2seq模型进行文本分类，每个模型之下都设置有一个函数予以测试。两个 seq2seq模型也可以在文本分类的过程中生成序列或其它任务。在文本分类的过程中，若需完成的分类任务是多标签的分类工作，这时候就可以将工作以序列生成的方式来进行。在这一研究中基本达成了一个记忆网络的建设[2]。其中以recurrent entity network（循环实体网络）来追踪状态，以blocks of key-value pairs（它用键值对块）为记忆并进行运行，并在这一功能的支持下实现对新状态的获取。构建后的NLP文本分类深度学习模型可以实现使用历史或上下文来回答建模的问题。例如，在测试中可以让NLP文本分类深度学习模型来读取句子作为文本，并提出一个问题来查询，而后可实现NLP文本分类深度学习模式的答案预测。若这一过程转化为向NLP文本分类深度学习模型提供一些素材资源，这时NLP文本分类深度学习模型便能够完成研究意义上的分类工作[3]。
1NLP文本分类深度学习方法库模型
1.1模型
fast Text（快速文本模型）：这一模型主要用于高效文本分类技巧上的研究，在运行中使用 bi-gram，具有较高的速度优势。
Text CNN（文本卷积神经网络）：这一模型主要用于句子分类的卷积神经网络的实现，在结构上利用从降维到conv再到最大池化，最终到softmax。
Text RNN（文本循环神经网络）：这一模型在结构上与文本卷积神经网络有一定的不同，是从降维到双向的lstm到concta输出，最终到softmax。
RCNN（循环卷积神经网络）：这一模型在结构上与文本循环神经网络基本相同，在输入项上进行了特殊的设计，采用EOS将两个问题隔开。
Hierarchical Attention Network（分层注意网络）：这一墨香在结构上采用降维→词编辑器→词注意→句子编辑器→句子注意→FC + Softmax。
seq2seq with attention（具有注意的 Seq2seq 模型）：这一模型在结构上主要有三层，降维→ bi-GRU→具有注意的解码器。
Transformer：这一模型主要有编码器和解码器两大部分组成，具有在多向自我注意等方面的突出优势。
Recurrent Entity Network（循环实体网络）：这一模型在型号结构上也是分为三个层次，即输入编码，动态记忆，输出。
BiLstm Text Relation（双向长短期记忆网络文本关系）：这一模型在结构上与文本循环神经网络基本相同，在输入项上进行了特殊的设计，采用EOS将两个问题隔开。
Two CNN Text Relation（两个卷积神经网络文本关系）：这一模型采用不同的卷积来实现对句子特征的提取，然后在通过函数使目标标签完成饮食，然后使用softmax。
BiLstm Text Relation Two RNN（双长短期记忆文本关系双循环神经网络）：这一模型在结构上采取不同句子的双向lstm获取，最终由softmax输出。
1.2性能
2 NLP文本分类深度学习方法库的用途
2.1用途
此次研究中的NLP文本分類深度学习方法库建立在 xxx_model.py之上。在训练阶段采用 python xxx_train.py来进行，进入测试阶段之后，可使用 python xxx_predict.py 来进行。快速文本模型、文本卷积神经网络、循环卷积神经网络、分层注意网络等模型下都有测试方法，可通过此来实现对模型的检验[4]。
2.3环境
该项学习库建立之后的运行环境为python 2.7+tensorflow 1.1或tensorflow 1.2。
3结束语
作为人工智能研究的一个重要分支，打造NLP文本分类深度学习方法库正在不断的探索当中，随着信息技术、大数据技术及人工智能技术逐步由设想变为应用，这一过程也将会进一步的提速。相信在未来的探索中，这一技术模型在获得突破的同时，将为人类社会的发展带来新的福音。
参考文献
[1] 王臣博.深度学习在自然语言处理NLP中的应用研究[J].新商务周刊，2020，（4）：226.
[2] 周向明，贝聿运.基于机器深度学习的智能材料预审模型构建[J].科学与信息化，2020，（14）：11-12.
[3] 徐子淇，李煜.打造NLP文本分类深度学习方法库[J].机器人产业，2017，（5）：50-57. .
[4] 马立红，覃丹，林强，等.基于NLP方法的配电网项目关键指标智能化提取[J].自动化与仪器仪表，2019，（4）：129-133.
关键词：深度学习;NLP;方法库
随着NLP（神经语言程序学）研究的不断深入，其重要的应用价值开始在机器翻译、情感分析、智能问答、文摘生成、文本分类、舆论分析、知识图谱等领域有所体现[1]。与此同时，以深度学习技术为核心的人工智能得到了广泛的关注，成为一个新的研究热点。这一技术与PLB的耦合，推动了NLP的新发展。打造神经语言程序学文本分类深度学习数据库即NLP文本分类深度学习方法库作为其中的基础环节成为研究中的一个重点。NLP文本分类深度学习方法库建立的目的可为探索以深度学习为主要技术的NLP分类方法提供海量的研究资源，这一学习方法库还具有文本分类的各种基准模型。同时NLP文本分类深度学习库也支持多标签的分类，且这些标签与句子或文档可以形成一定的关联。这些模型的建立将使得后续的研究有了重要的支点。在实践中发现，打造NLP文本库的过程中，有一些较为经典的模型是比较适合作为学习库的基准模型。
在此次研究的过程中，采用两个 seq2seq模型进行文本分类，每个模型之下都设置有一个函数予以测试。两个 seq2seq模型也可以在文本分类的过程中生成序列或其它任务。在文本分类的过程中，若需完成的分类任务是多标签的分类工作，这时候就可以将工作以序列生成的方式来进行。在这一研究中基本达成了一个记忆网络的建设[2]。其中以recurrent entity network（循环实体网络）来追踪状态，以blocks of key-value pairs（它用键值对块）为记忆并进行运行，并在这一功能的支持下实现对新状态的获取。构建后的NLP文本分类深度学习模型可以实现使用历史或上下文来回答建模的问题。例如，在测试中可以让NLP文本分类深度学习模型来读取句子作为文本，并提出一个问题来查询，而后可实现NLP文本分类深度学习模式的答案预测。若这一过程转化为向NLP文本分类深度学习模型提供一些素材资源，这时NLP文本分类深度学习模型便能够完成研究意义上的分类工作[3]。
1NLP文本分类深度学习方法库模型
1.1模型
fast Text（快速文本模型）：这一模型主要用于高效文本分类技巧上的研究，在运行中使用 bi-gram，具有较高的速度优势。
Text CNN（文本卷积神经网络）：这一模型主要用于句子分类的卷积神经网络的实现，在结构上利用从降维到conv再到最大池化，最终到softmax。
Text RNN（文本循环神经网络）：这一模型在结构上与文本卷积神经网络有一定的不同，是从降维到双向的lstm到concta输出，最终到softmax。
RCNN（循环卷积神经网络）：这一模型在结构上与文本循环神经网络基本相同，在输入项上进行了特殊的设计，采用EOS将两个问题隔开。
Hierarchical Attention Network（分层注意网络）：这一墨香在结构上采用降维→词编辑器→词注意→句子编辑器→句子注意→FC + Softmax。
seq2seq with attention（具有注意的 Seq2seq 模型）：这一模型在结构上主要有三层，降维→ bi-GRU→具有注意的解码器。
Transformer：这一模型主要有编码器和解码器两大部分组成，具有在多向自我注意等方面的突出优势。
Recurrent Entity Network（循环实体网络）：这一模型在型号结构上也是分为三个层次，即输入编码，动态记忆，输出。
BiLstm Text Relation（双向长短期记忆网络文本关系）：这一模型在结构上与文本循环神经网络基本相同，在输入项上进行了特殊的设计，采用EOS将两个问题隔开。
Two CNN Text Relation（两个卷积神经网络文本关系）：这一模型采用不同的卷积来实现对句子特征的提取，然后在通过函数使目标标签完成饮食，然后使用softmax。
BiLstm Text Relation Two RNN（双长短期记忆文本关系双循环神经网络）：这一模型在结构上采取不同句子的双向lstm获取，最终由softmax输出。
1.2性能
2 NLP文本分类深度学习方法库的用途
2.1用途
此次研究中的NLP文本分類深度学习方法库建立在 xxx_model.py之上。在训练阶段采用 python xxx_train.py来进行，进入测试阶段之后，可使用 python xxx_predict.py 来进行。快速文本模型、文本卷积神经网络、循环卷积神经网络、分层注意网络等模型下都有测试方法，可通过此来实现对模型的检验[4]。
2.3环境
该项学习库建立之后的运行环境为python 2.7+tensorflow 1.1或tensorflow 1.2。
3结束语
作为人工智能研究的一个重要分支，打造NLP文本分类深度学习方法库正在不断的探索当中，随着信息技术、大数据技术及人工智能技术逐步由设想变为应用，这一过程也将会进一步的提速。相信在未来的探索中，这一技术模型在获得突破的同时，将为人类社会的发展带来新的福音。
参考文献
[1] 王臣博.深度学习在自然语言处理NLP中的应用研究[J].新商务周刊，2020，（4）：226.
[2] 周向明，贝聿运.基于机器深度学习的智能材料预审模型构建[J].科学与信息化，2020，（14）：11-12.
[3] 徐子淇，李煜.打造NLP文本分类深度学习方法库[J].机器人产业，2017，（5）：50-57. .
[4] 马立红，覃丹，林强，等.基于NLP方法的配电网项目关键指标智能化提取[J].自动化与仪器仪表，2019，（4）：129-133.