【摘 要】
:
目前,卷积神经网络由于具备提取图像特征的能力,被广泛应用于计算机视觉领域.为增强卷积网络的图像特征识别能力,一般采用增加网络深度的策略.然而卷积网络过深会导致训练难度加大.一方面,梯度爆炸和梯度消失现象在深度网络中更容易发生,可能导致网络训练失败或被训练到局部最优:另一方面,随着训练次数增加,深度网络中的神经元均值可能逐渐远离零点,经过某些激活函数后,神经元激活值将进入饱和状态,导致网络训练效率降
论文部分内容阅读
目前,卷积神经网络由于具备提取图像特征的能力,被广泛应用于计算机视觉领域.为增强卷积网络的图像特征识别能力,一般采用增加网络深度的策略.然而卷积网络过深会导致训练难度加大.一方面,梯度爆炸和梯度消失现象在深度网络中更容易发生,可能导致网络训练失败或被训练到局部最优:另一方面,随着训练次数增加,深度网络中的神经元均值可能逐渐远离零点,经过某些激活函数后,神经元激活值将进入饱和状态,导致网络训练效率降低.这两方面问题限制了卷积网络深度的继续加深.针对上述问题,目前的解决方案尚存在一定局限性.因此,如何在不增加卷积网络深度的前提下,进一步增强网络识别能力是亟需解决的问题.为此,本文根据有理分形插值函数的生成原理提出一种新型网络结构:分形神经网络,并将其模块化为分形模块,以使其能被嵌入至其他网络中使用.实验表明,在卷积网络保持卷积层深度不变的前提下,通过在卷积神经网络中嵌入分形模块,网络识别能力得到增强.从而,分形模块为提升卷积网络性能提供了一条新的途径.分形模块能够加强卷积网络识别能力的原因在于分形神经网络具备较强的数据拟合能力.由于神经网络实质是对给定数据做拟合,而在计算机辅助设计中,有理分形插值函数具备优良的数据拟合能力,分形神经网络通过将分形函数的生成原理引入到神经网络中,因此,其能在结构简洁的情况下对不同类型数据的进行高效拟合.本文从理论上证明分形神经网络不仅具备拟合分形数据的能力,还具备拟合光滑函数的能力.这使得在相同层数结构下,分形神经网络相比于使用常见激活函数的网络具备更普遍且高效的数据处理能力.然而,由于分形神经网络在实际使用中对输入数据格式有严格要求.为克服该局限性,使其能应用于任意张量格式的数据,本文进一步提出分形模块,该模块集成了分形神经网络,并且可直接嵌入至其他网络架构当中提高网络性能.在数值实验部分,本文通过三个应用案例验证了分形模块的性能.首先使用分形模块对二维数据的进行拟合,包括分形数据,实际股价数据和光滑函数生成的数据,并与具有相似网络结构的全连接神经网络做了对比,验证了分形模块具备稳定高效的拟合性能;然后利用分形模块对雾天降质图像进行去雾功能的训练,验证了分形模块处理高维数据的高效性能;最后将分形模块嵌入至卷积神经网络中,对比发现,分形模块加强了卷积神经网络的识别能力,表明分形模块具有实际应用价值.
其他文献
目的:研究LED光疗对高胆红素血症新生儿氧化损伤、抗氧化能力及特定DNA修复基因m RNA表达的影响。方法:本研究对象为2019年6月入住我院的总胆红素(Total bilirubin,TB)值达光
本文在阐述小学英语教师专业素养构成的基础上,结合相关文献研究、个人实践经验和当下社会环境,对小学英语教师的可持续专业发展途径进行了探讨。小学英语教师在实现其可持续
目的:明确神经粘附分子Robo4在胶质瘤中的表达变化,揭示其对胶质瘤血管内皮细胞增殖、迁移、血管生成能力的影响及其可能机制。方法:首先,在GEO数据库中分析Robo4在血管生成
光催化与膜过程的整合是减少膜污染和改善膜性能的有前景和理想的替代方案。新型的光催化复合膜体系能够在有效降解有机污染物的同时,将粉体催化剂从液相中快速分离出来,是一
选题主要立足于中国商业地产综合购物中心消费市场,以多元化社交媒体环境下商业地产品牌的数字化营销为切?点,选取商业地产品牌K作为个案分析对象,通过分析商业地产品牌的数字化营销方式,总结其传播规律和目的,对其在多元化社交媒体环境下的传播现状、效果做初步的评估和分析,综合商业地产品牌在数字化营销上存在的问题,提出改进的建议,为商业地产本土品牌传播进行有效的品牌传播提供借鉴和参考。K品牌作为全球具备影响力
春油菜产区分布在高纬度高海拔地区,气候的地域差异性和过渡性明显。基于寒旱区覆膜作业方式的应用,结合国内外覆膜打孔机械主要是针对蔬菜移栽及大粒径种子作物,而小粒径种
多孔介质是一种在自然界广泛存在的材料,其形态是固体基体内含有大量孔隙,孔隙内充填着液相或者液气两相物质,存在流固耦合现象。因其结构的特殊性和存在的普遍性,其力学性能
2018年和2019年广东海洋大学农学院试验地进行了田间试验,研究了不同颜色地膜覆盖对甘薯广薯87号和普薯32两个甘薯品种水热特性和产量品质的影响。试验设计为2x3因子。使用的
随着我国经济发展方式的转变,高校招生规模的继续扩大,大学生就业成为一个不可避免的难题。而创业不但能创造就业机会,而且在促进经济增长(Carlsson et al.,2009)、技术进步方面起了重要作用(Goodale et al.,2011)。创业作为一种就业方式,尤其是大学生的自我创业,受到了越来越多的青睐。创业意愿作为预测大学生创业行为的最好指标,因而受到关注。但现有文献对于创业榜样和创业意愿
目前我国正大力发展建筑垃圾的回收再利用,回收加工的再生骨料再次投入进工程建设中,不仅能节约资源,也能缓解建筑垃圾堆放带来的环境和社会一系列问题,在海洋工程建设中,部