基于双激活函数的自适应神经元结构研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:presk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
神经元是神经网络的主要组成部分,其在神经网络中起着至关重要的作用。在目前的神经网络模型中,各个层级使用一致的神经元结构,也就意味着网络中的每个神经元都使用相同的特征提取和特征选择方式。然而每个神经元关注的特征不同,整个网络中使用相同结构的神经元,缺乏对不同数据和不同层级特征的适应性。为了提升神经元在面对不同特征的适应性,本文提出了一种新的神经元结构——双激活函数自适应神经元,通过神经元学习训练数据,改变单个神经元表达的函数,提升单个神经元的非线性能力,进而增强整个网络的拟合能力。本文的主要研究内容包括如下几点:(1)通过分析现有的神经元结构,在原始神经元的基础上,提出了一种新的神经元结构——双激活函数自适应神经元。先使用权重参数提取输入数据的特征,将提取出的特征输入到两条路径,分别使用ReLU和Sigmoid激活函数控制两条路径上的激活阈值,再利用两组权重参数融合两条路径选择的特征,作为神经元的输出。解决了神经元只能表达固定非线性函数的问题,提升了神经元的非线性能力,进而增强整个网络模型的拟合能力。(2)参考已经出现的神经网络模型,将双激活函数自适应神经元应用到经典神经网络模型中,完成相应的对比实验,记录训练过程。本文将双激活函数自适应神经元嵌入经典网络模型中,并进行对比实验。在图像识别和目标检测任务中获得较好的表现,在ResNet20和WRN-28-10中,与原始模型相比,双激活函数自适应神经元组成的神经网络在CIFAR-10和CIFAR-100上分别提高了 0.68%和 0.79%。(3)分析训练过程,以及训练完成的参数,验证双激活函数自适应神经元的有效性。双激活函数自适应神经元组成的网络在整个训练过程中,其训练损失始终低于原始网络。在训练初期,收敛速度明显快于原始网络,证明其确实提升了整个网络的拟合能力。训练完成时,神经元输出阶段的融合参数呈现一定规律,验证了双激活函数自适应神经元结构的有效性。
其他文献
根据马来西亚《课程标准》,语文课程共包括了五大模块,而书写是当中的五大模块之一,因此写话教学在语文教学中占有着极为关键的地位。一年级写话教学的重点是要学生写自己想说的话,并对写话有兴趣,做到“我手写我口”。2021年中的新冠肺炎疫情爆发,马来西亚中小学教师积极响应了教育部“停课不停学”的号召,开展线上教学活动。由于时间的限制,写话教学也因此受影响,学生写话能力的培养也受到一定的限制。因此,本研究以
学位
岩溶水赋存并运行于岩溶化岩层之中,是人类极其重要的生产生活水源之一。岩溶水文系统作为地球表层水循环系统的重要组成部分,具有脆弱性、敏感性、复杂性。解译浅层岩溶地下水水文地球化学动态变化规律对认识岩溶水循环过程和岩溶地区可持续发展都具有重要的意义。基于逐周采样和在线监测获取典型岩溶区昆明市阿子营乡黄龙泉域水文—水化学—稳定同位素等数据。运用年内不均匀系数、完全调节系数、集中度和集中期等指标和时间序列
学位
比喻修辞是马来西亚华小学生必修的重要修辞手法之一。学习比喻修辞能培养学生的想象能力和提高学生的表达能力。学生通过掌握比喻修辞,能用形象的语言表达出思想,以生动的语言达成交际效果。虽然教师与学生都认识到比喻修辞的重要性,然而华小学生对比喻修辞的使用情况并不理想,往往会出现各种类型的错误。本文使用错误分析理论,以马来西亚华小华裔学生为研究对象,以调查问卷的方式进行数据采集和自然语料的收集统计分析,考察
学位
为解决当前高速公路建设和管理中存在的诸多问题,以高速公路机电设备智能化技术为研究对象,分析高速公路机电设备智能化技术应用中存在的资源共享通道不畅、智能化机电设备运行数据缺失、自动监测功能弱化、智能化机电设备故障频发等问题,提出建立高速公路智能巡检管理系统、建立智能化机电设备管理系统、提升管理信息化水平、建立数据库和设置二维码、加强智能化机电设备的自动监测等措施,提升高速公路机电设备智能化技术应用水
期刊
关于词典的实用主义研究可以追溯到二十世纪七十年代。词典与英语学习密切相关,属于英语学习策略中的元认知策略和认知策略的范畴。我国关于词典使用的研究大多集中在大学生等受过高等教育的群体上,以高中生为词典使用的研究对象的并不多。即便有,也大都集中在一些细分的类别上,如英语词典对写作和完形填空的作用,而缺少对高中生这一群体使用英语词典状况的整体了解。然而在教学过程中发现高中生的词典使用存在很大问题,亟需指
学位
一个国家的地位很大程度上取决于其中心城市的能级。随着全球经济重心转移和亚洲中心城市的崛起,中心城市建设越来越成为地方政府规划的关键。本文基于昆明市提出的建设“面向南亚东南亚的区域性国际中心城市”规划背景,从城市功能的角度分析区域内城市的中心性现状并评价,为昆明城市建设工作提供参考。研究首先采用纳尔逊城市功能分类法和定性分析法对我国西南地区和南亚东南亚地区主要城市进行了现状的分析和评价,得到西南地区
学位
研究表明miRNA的功能异常可能与许多人类复杂疾病相关,并且存在着多种渠道的作用机制(如:遗传学、表观遗传学等等)。然而,人类对于这些机制尚还不太清楚,这就需要我们对导致miRNA表达异常的潜在机制进行更深层次的研究,找到存在关联的miRNA-疾病对并确定二者之间的关联类型,这将更好地揭示miRNA表达与功能之间的关系,有助于人们对复杂疾病致病机理的进一步了解。与耗时且昂贵的传统生物学湿实验相比,
学位
泰国是目前中国派出国际汉语教师志愿者最早且人数最多的国家之一。在前期的汉语教学过程中,很多国际汉语教师志愿者会因为文化差异、异国工作经验缺乏等遇到各种各样的问题。这也引起了泰国相关教育主管部门的重视,泰国院校和国际汉语教师志愿者都希望能够通过培训解决这些问题。因此,探索如何有效开展泰国国际汉语教师志愿者岗中培训,具有十分重要的意义。本论文第一章为绪论,主要包括研究目的及意义、研究综述、相关概念界定
学位
在高中英语新课程改革不断深入的背景下,2016年起至今,浙江、山东、湖北、湖南、广东等地陆续把读后续写新题型纳入高考写作考查,其阅卷标准对续写语篇的连贯性问题提出了明确要求。而历经山东省两年的探索,笔者发现几乎所有学生在写作实践中都存在不同程度的无从下手、硬凑字数之现象,对读后续写和写作策略的认知不足,作文的连贯性和流畅度亟待提高。由此,本文基于过程写作和语义连贯理论开展研究,旨在探索高中生英语写
学位
随着中泰两国在文化、经济以及各个领域上的交流与合作的密切,中国与泰国两国之间的交流日益频繁,笔者作为泰国留学生,通过工作与学习,逐渐认识到中文对自身成长的重要性,以及中国对世界各国的影响力,泰国社会对中文教育人才的需求正在不断增加,这就促使越来越多的泰国人开始学习汉语。泰国有关语言教育的政策,特别是汉语言文学的教育政策及其发展、演变和实施情况,这是我们深刻认识新时期汉语教育发展方向、解决汉语发展中
学位