【摘 要】
:
作为处理复数域问题的典型模型之一,复数值前向神经网络已经在不同的工业领域中得到了广泛的应用。在复数值前向神经网络的研究中,训练算法的设计与分析一直是一个热门的研究
论文部分内容阅读
作为处理复数域问题的典型模型之一,复数值前向神经网络已经在不同的工业领域中得到了广泛的应用。在复数值前向神经网络的研究中,训练算法的设计与分析一直是一个热门的研究课题。复数值前向神经网络有着与实数值神经网络相似的网络结构,大多数的训练算法都是从实数域推广而来的。其中,复数值随机梯度下降算法尤为常见,但它具有收敛速度慢、训练容易陷入局部极小值等缺点。其次,根据信息处理的需要,不仅要考虑参数优化算法的选择,如何设计和优化模型结构也是至关重要的。基于以上问题,本论文主要对复数值前向神经网络的参数与结构优化算法进行研究,提出了几种改进算法。首先,本论文提出了基于复数值梯度下降算法与最小二乘算法相结合的一阶混合增量算法,用于训练实部虚部型复数值神经网络。与传统的复数值梯度下降算法相比,混合优化算法的优势在于能够明显减少需要更新的参数个数,有效降低计算复杂度,提高了模型的收敛速度。为了能够自适应地确定网络结构大小,通过增量机制逐个添加隐层神经元使得训练能跳出目标函数的局部极小值。其次,Levenberg-Marquardt(LM)算法是一种非常有效的二阶优化算法,具有收敛速度快的优点。但在计算过程中,需要对整个雅可比矩阵进行存储。显然,这对于大规模数据集的学习是不适用的。因此,为了能够处理大规模数据集,降低对内存空间的需求,本论文对传统的复数值LM算法进行改进,实现了全复数值神经网络的训练。我们的算法不需要存储整个雅可比矩阵,只需要依次存储雅可比矩阵的行向量用于后续的乘法运算,从而提高了训练效率。最后,为了能够在提高模型性能的同时优化网络结构,本论文提出了复数值的二阶混合构造算法,将复数值LM算法与复数值最小二乘算法进行结合,分别用于训练输入层与隐层之间的非线性参数和隐层与输出层之间的线性参数。当训练陷入局部极小值时,采用增量构造机制适时调节网络结构,并选择在验证集上误差达到最小时的结构作为网络的最终结构。增加隐层节点后的模型是基于已优化参数的基础上进行训练的,大大降低了计算复杂度,提高了算法的收敛速度。本论文将以上这三种改进算法应用于实数值分类、函数逼近以及信道均衡器模拟等实际问题中。实验结果表明,与一些传统算法相比,我们所提出的算法具有更好的性能。
其他文献
太赫兹波因为具备低的光子能量,并且对绝大多数非极性材料如衣物、纸张、塑料透明等优良特性被广泛应用于各个领域,比如太赫兹波成像、无损探伤、安全检测以及医疗诊断等方面
外语教学的评估方式通常有两种:终结性评估和形成性评估。终结性评估一般是指通过课程结束时的统一考试来评价学生的学习成果,其考察形式是一次性的;形成性评估则要求学生和教师在学习及教学过程中不断进行的反馈,用来改进并提高课程质量,是一种经过充分设计的持续性评估模式。形成性评估的方式多种多样,主要包括课堂交流、自我评估及同伴评估等。随着国家对于口译人才需求的不断增加,越来越多的高校开始培养英语口译硕士,由
近年来,随着计算机技术的飞速发展,互联网已经成为了人们日常生活中不可或缺的一部分。互联网的迅速发展,给人们的生活带来便捷的同时,也带来了蕴含有无限价值的大数据,机器学习便是挖掘大数据所蕴含价值的一门学科。机器学习算法在实际生活中有着大量的应用,如手机人脸识别解锁,社交APP的语音识别,自动翻译,汽车自动驾驶等等,人们的生活也愈渐离不开机器学习算法带来的便捷。而这些机器学习算法如:SVM、KNN和K
由于历史地理、对外经贸、教育文化和宗教信仰方面等因素,泰语通过多种形式借用并大量吸收外来词。这些外来词来源于梵语、巴利语、高棉语、英语、法语、汉语、葡萄牙语、日语、波斯语、缅甸语、阿拉伯语、蒙古语和僧伽罗语。其中,对泰语影响最大的是梵语、巴利语和英语,部分词汇借用年代长并成为泰语基本词汇,成为泰语中不可或缺的一部分。虽然英语是近一百年来才开始被借用,但英源外来词广泛应用于当代泰国,尤其是新时期出现
围护结构节能是最具潜力的建筑节能方式之一。排风隔热墙是一种将空调排风系统与围护结构相结合的新型节能墙体,利用安装于墙体中的多孔材料的渗流作用,排风隔热墙能够减低墙体的内表面温度,同时回收排风的低品位热能。课题组的前期研究表明,排风隔热墙的隔热性能优越,其热工性能相比常规墙体有很大提升。本文考虑工程实际,将排风隔热墙进一步改进,建立外挂型排风隔热墙。该结构的关键在于可将多孔材料和外挂板预制成外挂模块
电渗流作为一种操控微流体的重要方式已经引起了国内外研究者的广泛关注.本文研究了粘弹性流体通过壁面电荷调制的微平行板的磁流体电渗流现象,考虑两个外加的时间周期电场(一
发电机制造项目由于受到国家能源发展政策、经济环境因素、投资方融资能力等多种因素的影响,存在很多不确定的风险。本文选取了六安电厂的发电机制造项目作为研究对象,该项目
民用无人机因其“可操作性强、可定制性好、功能多样、自由度高”等优点而在“航拍、植保、电力检修、环境监测”等领域得到广泛应用。目前,虽然基于大规模定制的生产方式可以提升民用无人机制造企业的生产效率与产品质量,但由于民用无人机零件众多,用户对于无人机的客制化需求也比较复杂,因此,有必要对民用无人机的产品配置方法进一步开展深入的研究,以满足民用无人机产品大规模定制生产的技术发展潮流。因此,本课题的研究对
基于视觉的车道线检测方法是业内通用的解决方案。其方法是基于图像或视频算法,从摄像头的图片中检测出车辆行驶时的车道线的位置。城市中的车道线检测是公认非常具有挑战性
近年来电网中非线性元件使用量激增、分布式能源大量投入使用,导致网络中谐波含量大幅提升。为精确检测谐波参数,从而改善电能质量,本文从四方面对现有加窗-插值傅里叶变换算法进行改进。在谐波信号降噪方面;本文对基于小波时频分解、经验模态分解的降噪算法进行仿真和分析后,发现此类算法在低信噪比环境中,信噪比提升幅度显著;而在高信噪比环境中降噪效果不佳。为克服这一缺陷,文本另外提出基于标准单位周期的降噪算法。该