【摘 要】
：
针对目前许多神经网络模型存在泛化能力较差现象,提出一种多头注意力方法以缓解神经网络泛化问题。该方法利用多头注意力从并行的长短期记忆网络(LSTM)中选择性激活并进行信息交流。在信息交流过程中既保留了普遍性信息,又加强了鲁棒性,从而提高神经网络的泛化能力。在对比传统并行LSTM实验中,该方法在4种数据集的平均测试误差比传统方法约低1.39%。另外与3种相关研究进行对比,该方法在4种数据集的平均测试误
论文部分内容阅读
针对目前许多神经网络模型存在泛化能力较差现象,提出一种多头注意力方法以缓解神经网络泛化问题。该方法利用多头注意力从并行的长短期记忆网络(LSTM)中选择性激活并进行信息交流。在信息交流过程中既保留了普遍性信息,又加强了鲁棒性,从而提高神经网络的泛化能力。在对比传统并行LSTM实验中,该方法在4种数据集的平均测试误差比传统方法约低1.39%。另外与3种相关研究进行对比,该方法在4种数据集的平均测试误差比次优算法约低0.21%,并且在加噪情况下平均测试误差也比次优算法约低0.73%。理论分析和实验证明该
其他文献
目的观察丁苯酞序贯治疗急性脑梗死伴非痴呆型认知功能障碍的临床疗效。方法选取2018年1月—2019年12月我院接受治疗的90例急性脑梗死病人,随机分为对照组和观察组,各45例。
介绍了无油润滑和有油润滑的优、缺点,结合燃料气压缩机不同工况下的介质特性,剖析选用无油润滑和有油润滑对燃料气压缩机本身以及整个合成气净化装置可能产生的影响,提出在
对一次锅炉鼓包事故进行失效分析,采用了壁厚分析、硬度分析、金相分析及水质分析等手段。研究发现,材质劣化导致锅筒局部强度不足,是此次鼓包事故的直接原因;锅炉水质不达标
目的观察中西医结合治疗动脉瘤性蛛网膜下腔出血(aSAH)后早期脑损伤的临床疗效。方法选取2017年6月—2019年6月新疆医科大学附属中医医院神经外科诊治的急性期aSAH病人72例,
城镇埋地聚乙烯燃气管道在现有的检验检测技术基础上,增加声波定位技术、管材性能分析和风险评估项目;通过该技术,能检验检测出危害某市管网的安全隐患;该技术能为以后形成更
为解决传统方法难以处理德州扑克巨大的状态空间,以及强化学习中人工神经网络收敛性差等问题,以强化学习框架为基础,采用AC算法,引入专家先验知识预训练网络参数,以加速收敛
对汽车驾驶员进行疲劳检测,需首先利用面部检测技术对驾驶员的面部动作进行识别,可以使用MTCNN与CNN相结合的深度学习方法完成面部动作检测。先利用MTCNN的3个模块将面部特征与关键点进行提取,再利用CNN对网络进行训练,以准确识别特定的面部动作。利用MTCNN与CNN相结合的方法,模型准确率达99%,并且实时检测的FPS平均在19帧左右。研究表明,使用MTCNN与CNN相结合的深度学习方法,可以
深度卷积神经网络(DCNN)是人工智能研究领域前沿方向。DCNN结构复杂、参数非常多、可解释性与鲁棒性不强,对图像数据集的清晰度要求很高,而目前关于DCNN抗噪性能研究还较欠缺。通过给手写体数据集DigitDataset的测试集添加4种不同幅度噪声,深入研究DCNN在手写体识别上的抗噪性能。研究结果表明:(1)噪声对DCNN性能影响很大,噪声幅度越大,精度下降越快;(2)指数噪声对精度影响最大,伽
为了求解智能物流环境下货到人模式的智能仓库货位分配问题,首先根据货物出入库频率、货物质量和货位信息,从提货架稳定性、提高出入库效率、相关货物靠近存放角度建立多目标
目的研究消毒供应室开展品管圈(QCC)活动对降低手术器械感染率的影响。方法于2018年6~12月由我院消毒供应室开展QCC活动,分别于QCC实施前和实施后向我院各手术科室发放调查问