基于RNN的古典诗歌自动生成及可视分析研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:dasmine
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对神经网络内部行为的探索与分析一直以来是深度学习研究与发展的热点。尽管已经在大量的实验和任务中证明了深度学习的实用性,包括诗歌生成任务,但在其模型的可解释性上总是有很大的争议。本文结合目前国内教育领域中较为火热的古典诗歌作为突破口,以在深度学习中的古典诗歌自动生成任务为基础,通过可视分析的方法来探究循环神经网络的内部行为。首先,利用长短期记忆网络进行诗歌自动生成模型的建立,通过处理后的数据对模型进行训练,在训练结束后通过使用训练好的模型进行诗歌自动生成的样例展示。其次,提取出诗歌自动生成任务训练过程中的神经元状态,利用循环神经网络可视分析工具LSTMVIS对隐藏状态的训练结果进行时序的可视化,根据诗歌的相关特点和不同的神经网络参数进行神经元行为的假设;并结合不同参数的组合所训练的模型进行对比可视分析。最后,通过上述假设和实验,期望找到训练过程中神经网络是否学习到了诗歌的特点,对比不同的参数设置所训练的模型来找到学习效果和参数之间的关系,来提高在诗歌数据训练过程中的模型可解释性。通过上述实验和分析得到了如下结果和结论:第一,对神经网络的训练,通过自动生成可以得到具有明显押韵特点的类似“五言绝句”的诗歌。第二,针对隐藏层层数为2,匹样本大小为128的神经网络的神经元状态进行分析,发现了古典诗歌数据集训练的LSTM网络模型中,有特定神经元在一定的取值范围内可以控制其韵脚词。第三,对隐藏层数和样本批量大小不同的四组实验进行了对比分析后,发现不管是什么样的参数都会通过神经元来控制一些特征,而且大的样本批量大小会学习到更明显的诗歌特点,而具有两个隐藏层的神经网络在一些情况下可以利用较少的神经元实现诗歌特点的匹配。
其他文献
2008年4月18日,中国石油大连LNG项目在辽宁省大连市大窑湾保税区鲇鱼湾开工建设。大连LNG项目是国家“十一五”LNG规划的重点项目,同时也是中国石油第一个开工建设的引进海外LN
目的:了解医院住院患者疾病分布和增长趋势,为制定医院工作重点提供科学依据。方法:采用对比法对1980~2009年住院病人疾病构成顺位进行统计分析。结果:30年来收治病人逐步增长。
鉴定了一种新发生的大豆茎枯病病原菌。在酸化PDA培养基上所有病原菌分离物菌落呈白色,气生菌丝呈密集的卷毛状,有时部分区域显黄绿色;培养基背面开始无色,随后产生大的、扩
2006年7月18日,农业部种植业管理司组织国内有关科研、教学、生产、推广、管理等领域的专家,在武汉对由中国农科院油料作物研究所多年从事油菜新品种选育工作的资深专家李云昌
(1)UBD技术与MPD技术有许多相似之处,很多情况下两者都可以在钻井过程中结合采用,实现经济效益的最大化。(2)任何一种钻井方式都有其适用条件,对不同的钻井技术进行对比研究,有利于根
<正>~~
期刊
以19个蓖麻品种为材料,对蓖麻种子含油量与主要数量性状进行相关及通径分析.结果表明:含油量除与生育期呈显著负相关外,与其它主要农艺性状间相关均不显著,而与籽粒自身的性
文章介绍了盐藻粉及其软胶囊的生产方法、食用安全性、功能及产品标准.动物试验表明盐藻粉软胶囊具有抗辐射、抑制肿瘤和免疫调节的保健功能.该项成果对我国盐田生物技术的发
古树名木是国家的瑰宝,是活着的文物.它对历史文化科学的研究和旅游事业的发展,都有重要意义.本文讨论了造成上海地区古树名木衰弱的原因,并根据古树名木致衰的具体情况,提出