基于分数阶微积分的卷积神经网络优化算法研究

来源 :江苏科技大学 | 被引量 : 0次 | 上传用户:luckycpw
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在信息科技飞速发展的当今,人们需要处理的图像和数据规模日益庞大。卷积神经网络由于其强大的学习能力已经被广泛应用于图像处理、数据识别等领域。通常卷积神经网络的性能主要取决于网络模型的结构和参数训练的学习算法。梯度下降作为训练模型参数最基本的学习算法,已经成为广大学者研究的热门方向。本文将分数阶微积分理论、PID控制理论与优化算法相结合,提出了两种新的卷积神经网络优化算法,具体工作如下:为了进一步优化梯度下降算法的性能,本文将动量梯度下降算法与分数阶微积分理论结合,给出了基于卷积神经网络的动量分数阶梯度下降优化算法(MFSGD)。第一步,根据分数阶微积分理论以及动量梯度下降算法,给出了动量分数阶梯度下降优化算法。第二步,分别设计卷积神经网络的全连接层和卷积层的参数优化算法,得到基于卷积神经网络的动量分数阶梯度下降优化算法。第三步,分别采用两种网络结构在三种数据集上进行实验,比较了随机梯度下降算法、分数阶梯度下降算法以及本文算法的性能,结果表明本文算法在识别准确率、训练损失、收敛速度上达到了更佳的效果。为了改善动量梯度下降算法在参数训练过程中可能会出现的超调问题,本文将PID控制的思路和分数阶微积分相结合,给出了分数阶PID优化算法(FPID),并应用于卷积神经网络。第一步,分析了经典反馈控制理论中的PID控制器与神经网络优化算法之间的联系。第二步,将分数阶微积分与PID控制结合,得到了分数阶PID优化算法。第三步,将分数阶PID优化算法应用到卷积神经网络中,给出了卷积神经网络的分数阶PID优化算法。第四步,分别采用测试函数和三种数据集进行实验,比较了动量梯度下降算法、PID优化算法以及本文算法的性能,结果表明本文算法在识别准确率、训练损失、收敛速度上达到了更佳的效果。
其他文献
人工智能技术的快速发展使得机器人与环境发生交互行为成为现实,其中机器人抓取问题是这种交互行为亟待解决的问题之一。与传统图像算法相比,基于深度学习的抓取算法更能适应复杂场景的抓取问题,通过训练海量的数据,来学习抓取物体所需要的特征,从而提高机器人抓取的鲁棒性和成功率。本文对基于深度学习的抓取算法及抓取仿真系统开展了相应研究,针对传统算法抓取速度慢、抓取准确率低等问题,提出了新的卷积神经网络算法,并在
学位
随着网络的不断发展,信息资源呈指数增长。用户往往无法在海量信息资源中筛选出感兴趣的数据。因此推荐系统顺应时代要求而产生,其能够帮助用户快速找到个性化的信息。推荐系统的核心引擎——推荐算法,能够有效缓解数据量过大问题和提高用户处理信息效率问题。其中,协同过滤推荐算法通过比较物品与物品或者用户与用户之间的相似性进行物品推荐,能够以静态方式捕获用户长期兴趣特征。但是协同过滤算法一般只能以静态的方式捕获用
学位
发展蓝色经济,建设海洋强国,必须依靠海洋科学技术。当前我国面临着海洋经济增速放缓、海洋创新资源分配不合理、海洋科技创新提升路径不清晰等诸多问题,严重阻碍了海洋科技和海洋经济的共同发展。因此科学评价当前海洋科技创新活动水平,揭示海洋科技创新发展格局,找寻海洋科技创新活动质量的方法,对于推动我国海洋科技的集约型发展具有重大意义。海洋科技创新是一个多主体多阶段的复杂系统,本文基于共享投入视角研究了海洋科
学位
随着无线通信技术、嵌入式设备以及智能传感器的发展进步,无线传感器网络(Wireless Sensor Network,WSN)也在高速的发展中,它颠覆了传统的人与自然的交互与感知方式,提高了生活水平与工业生产效率,其不但能够实现对环境状态的感知与处理,而且可以完成数据的加密传输。由于WSN通常部署在较为开放的环境中,极易受到来自于外部环境或者潜在攻击者层出不穷的攻击手段的安全威胁。针对传统的无线传
学位
随着人们对海洋资源开发的不断深入和海上“一带一路”国家战略的确定,海洋平台在其中所起的作用和需要的功能越来越多。如果一个平台同时具有多种功能,这就导致平台体积增大,构成平台的系统繁多、布局越来越复杂;这不仅大大增加了多功能平台设计和建造难度,同时对平台总体利用率和平台维护成本非常不利。根据不同的工程需要,采用两个或多个不同功能的平台靠泊联合作业的新型工作模式就可以解决上述问题。这样可以把生活区域与
学位
众包创新作为一种新型创新模式,是指企业将本应由内部员工解决的创新问题转移给外部网络大众完成,有效实现对大众知识的获取。众包创新因其具有低成本、高效率的优势在企业中得到广泛应用,但由于组织模式松散、创新需求多元、参与主体自由度高等特征,在实践中存在接包方粘性低、持续知识共享意愿不强、创新绩效未达预期等问题。因此,本文从知识链视角出发,探索众包创新社区关系治理机制,分析关系治理策略选择对接包方持续知识
学位
随着技术的高速发展,互联网经济开始盛行,许多企业面临着开通直销渠道的选择。其次,广告效应是影响市场需求的重要因素,且信息作为企业管理者决策的依据,能够有效提高决策质量。当制造商面对拥有信息优势的零售商以及考虑到广告效应因素时,该如何制定其渠道策略以获得利润增长是一个值得探索的问题。因此,本文基于信息不对称以及存在广告投入的背景展开研究。在制造商广告投入背景下,应用不完全信息动态博弈来研究信息不对称
学位
随着新能源汽车产销量持续增长,市场渗透率大幅提升,新能源汽车后市场的地位愈发重要。但新能源汽车技术密集,技术升级快,且售后服务投入高,整车厂自身无法为车主提供充足的售后服务;第三方服务企业为新能源汽车提供售后服务,但面临知识匮乏和创新不足的窘境,单靠其自身无法有效实现技术突破和知识积累。在知识经济时代,新能源汽车作为战略新兴产业,技术交叉与融合趋势决定了新能源汽车整车厂和第三方服务企业合作知识共享
学位
《义务教育语文课程标准2022年版)》中明确提出“要激发学生读书兴趣,要求学生多读书,好读书,读整本书,养成良好的读书习惯,积累整本书阅读经验”。“快乐读书吧”栏目将课内外阅读有效衔接起来,培养学生的读书意识,提升阅读能力。如何提升“快乐读书吧”栏目教学质量成为广大一线教师急需探讨的问题。统编版语文教材投入使用以来,“快乐读书吧”这一新增栏目受到小学语文教师的广泛关注。通过梳理已有文献发现:部分小
学位
随着近几年新冠肺炎疫情的爆发,对能源行业尤其是石油气行业短期造成了巨大冲击。近海油气资源的日趋减少以及深远海油气资源丰富的储存量,使得深水油田开发成为业界热点。FPSO具有适用于各种水深和环境条件、抗风浪能力强、建造周期短、移动灵活、相对成本低等优势,已成为最适合海洋油气开发的装备之一。FPSO因碰撞导致的平台损坏或油气泄露造成的经济损失、环境破坏以及人员伤亡使开展FPSO平台的安全风险评估是十分
学位