【摘 要】
：
卷积神经网络(Convolution Neural Networks,CNN)和循环神经网络(Recurrent Neural Networks,RNN)在图像分类、计算机视觉、自然语言处理、语音识别、机器翻译、语义分析等领
【机 构】
：
中国科学院沈阳自动化研究所; 中国科学院大学;
【基金项目】
：
国家科技支撑计划(2015BAF02B01);中国科学院网络化控制系统重点实验室(2015BAF02B00)
论文部分内容阅读
卷积神经网络(Convolution Neural Networks,CNN)和循环神经网络(Recurrent Neural Networks,RNN)在图像分类、计算机视觉、自然语言处理、语音识别、机器翻译、语义分析等领域取得了迅速的发展,引起了研究者对计算机自动生成图像描述的广泛关注。目前图像描述存在的主要问题有输入文本数据稀疏、模型存在过拟合、模型损失函数震荡难以收敛等问题。文中使用NIC作为基线模型,针对数据稀疏问题,改变了基线模型中的文本one-hot表示,使用word2vec对文本进行映射,为了防止过拟合,在模型中加入了正则项和使用Dropout技术,并在词序记忆方面取得创新,引入联想记忆单元GRU,用于文本生成。在试验中使用Adam Optimizer优化器进行参数迭代更新。实验结果表明:改进后的模型参数减少且收敛速度大幅加快,损失函数曲线更加平滑,损失最大降至2.91,模型的准确率比NIC提高了接近15%。实验有效地验证了在模型当中使用word2vec对文本进行映射可明显缓解数据稀疏问题,加入正则项和使用Dropout技术可有效防止模型过拟合,引入联想记忆单元GRU能够大幅减少模型训练参数,加快算法收敛速度,进而提高整个模型的准确率。
其他文献
在综述DEA方法的基础上,通过选取"985工程"重点建设的9所研究型大学指标数据进行分析,结果表明,这些研究型大学建设的投入产出已经基本达到了最优,也从另一个角度检验了我国
长春市城市出入口交通现状进行调查，进而分析了长春市未来交通需求的方向与程度。
目的:评价大剂量乙酰半胱氨酸(N-acetylcysteine,NAC,1 200 mg/d)治疗稳定期慢性阻塞性肺疾病(chronic obstructive pulmonary disease,COPD)的疗效和安全性。方法:计算机检
网络交往使人的交往方式在广度和深度上都发生了很大的变化，同时也使人类进一步意识到：随着网络交往引发的问题的凸现，确立网络道德规范体系，指导人们作出合理的行为抉择，便成为现
【正】 德国杰出的文学家歌德曾说过这样一句话:“人到了老年,应该比年轻时做得更多些。”在我们的现实生活中,努力实践着这一格言的不乏其人。北京卫生材料厂的离休工程师铁
城市化建设的推进已经取得了一定的成就,人们的生活水平也有了显著提高,随之而来的,人们对城市园林景观工程的要求也越来越多。城市园林景观结合了生态、文化、艺术、科学技
意思自治是民法的基本精神，在这一精神之下衍生出的所有权自由、契约自由、过错责任原则，是民法的基本原则。但过错责任原则能否作为民法基本原则，面临两种挑战：一是它能不能贯通
由于堆石坝防渗用土工膜拉伸性能在抵抗外部荷载变化中发挥重要作用，文章对规范中的土工膜拉伸性能测试方法以及国内外有关研究成果进行对比分析，并在此基础上提出了薄壁圆筒双