基于分布式粒子群算法的深度学习超参数优化研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:lxlgqm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能相关理论的完善,人工智能在近年来发展迅猛。除了理论成果以外,人工智能的应用也在多个领域取得成就。我国的十四五发展规划指出要瞄准人工智能、量子信息、集成电路、生命健康、脑科学等前沿领域,实施一批具有前瞻性、战略性的国家重大科技项目。在这些前沿科技领域中,人工智能被列为了第一位。它的重要性不言而喻。发展人工智能是科技强国的必经之路。目前,深度学习是人工智能中最重要的算法之一。在深度学习的多种算法中,卷积神经网络(Convolution Neural Network,CNN)在许多实际应用中取得了巨大的成功。然而由于卷积神经网络结构复杂,网络训练过程耗时,寻找有效的卷积神经网络是一项具有挑战性的工作。卷积神经网络的性能取决于超参数的设置。为了有效地解决超参数设置问题,本文提出了一种分布式粒子群优化算法(Distributed Particle Swarm Optimization,DPSO),通过优化超参数来寻找高性能的卷积神经网络。与繁琐的、基于历史经验的、基于个人偏好的人工配置相比,本文提出的DPSO能够自动地、全局地进化超参数,获得高质量的卷积神经网络,为寻找全局最优超参数组合提供了一种新的思路和方法。此外,通过与分布式计算技术相结合,分布式粒子群优化算法与传统的粒子群优化算法相比,具有相当大的加速比。在多个泛用的图像分类数据集上面的大量实验表明,本文提出的算法能有效地找到性能良好的CNN模型,同时与传统的PSO算法相比,大大减少了计算时间。为了进一步验证本文所提出的算法的性能,本文把算法用于优化残差神经网络,并同样取得了很好的效果。实验结果表明,本文提出的算法能快速地、有效地对多种卷积神经网络的超参数进行优化。
其他文献
目的 探究在接受肝癌根治术的原发性肝癌患者群体中,术前与术后不同时间循环肿瘤细胞(circulating tumor cell,CTC)、甲胎蛋白(alpha fetoprotein,AFP)测定值变化情况,并为患者远期预后评估及术后肿瘤复发的诊断提供实验依据。方法 选取诊断为原发性肝癌并接受肝癌根治术的患者为研究对象,分别在术前,术后4周、24周、48周检测CTC、AFP。按照术后48周内肿瘤复
期刊
我国经济体制从计划经济转型而来,证券市场经过三十年的发展,监管政策日趋完善,但相比欧美发达国家市场仍不成熟,具有政策市的特点,投资者的投资知识仍匮乏,跟风入场等“羊群效应”显著存在,加上近年来国内国外经济环境多变,2015年股灾、“三去一降”经济政策、中美贸易战、新冠疫情等都深刻影响着我国资本市场的走势。本文以经济政策不确定性,投资者情绪,股票收益率三者之间的关系切入,分析何种特征公司更容易受到经
学位
近年来,伴随着“营改增”的全面推进,地方政府失去了营业税这一地方主体税种,地方税收失去重要收入来源,而分税制改革后财权上移、事权下移,导致地方财力与事权支出不匹配,地方政府财政压力大,高度依赖土地财政,地方财政问题亟待解决。另一方面,伴随着我国房地产行业的发展,也产生了一些如房价泡沫、房产投机等问题,作为调控房地产工具的房产税迫切需要进行改革以促进房地产市场的协调有序发展。十八届三中全会首次提出“
学位
党的十八大以来,我国在材料、零部件、电子元件等领域取得了瞩目的成就,建立了工业类目齐全的产业体系,总体经济水平也升至世界第二。然而,我国制造业还处于大而不强的阶段,产业价值链分工在全球处于中后端,对于核心基础零部件(元器件)、关键基础材料、先进基础工艺和产业技术基础(简称工业“四基”)的关键技术还未充分掌握,大量高端产品的材料与技术供给需要依靠海外进口来满足。工业“四基”的发展水平对于我国产业的整
学位
由脂肪醇聚氧乙烯醚和丙烯酸合成了非离子聚合物增稠剂(EOAP),表征了EOAP的结构,并测试了其表面性能和应用性能,最后研究了EOAP对标准洗衣液和十二烷基苯磺酸钠(LAS)的增稠效果。结果表明,EOAP具有较高的表面活性,CMC为39.7 mg/L,γCMC为34.6 mN/m;与非离子表面活性剂AEO9相比,EOAP的应用性能没有明显减弱;在保证主表面活性剂的优良性能的前提下,在标准洗衣液和L
期刊
自税收产生以来,就伴随着税收不遵从的现象。很多学者都比较看重税收遵从,投入了很多的精力去进行研究,提出了传统税收遵从模型,其中最具有代表性的就是A-S模型,根据这个模型的结论,税收遵从会对稽查率、处罚力度这两个指标产生正向的影响,但是也不是所有的情况都适用这个结论,比如在一些国家,税务机关的稽查能力比较弱、对纳税不遵从的处罚比较轻,但是却表现出了比较高的税收遵从度。因此引发了人们对纳税遵从的内在动
学位
移动互联网的快速发展生成了大量的数据信息,这些数据相互关联形成了复杂系统。复杂系统通常被抽象成复杂网络来进行研究,将系统中的成员看作网络中的节点,相同属性的节点聚集在一起形成了社区结构。探究社区结构的社区发现算法,可以帮助我们更好的理解网络属性和功能。在真实网络中,一个节点可能同时属于多个社区,这些社区称为重叠社区。本文主要对局部拓展类的重叠社区发现方法展开研究,并将算法应用于犯罪嫌疑人网络。本文
学位
作为现代金融学的基础,有效市场假说自提出以来便陆续受到国内外学者的质疑。大量的研究发现,证券市场存在一系列异象,这些金融市场异象包括日历效应、规模效应、动量效应和反转效应等,其中动量效应倍受国内外学者的关注。动量效应通常也被称为惯性效应,具体指的是过去一段时间具有较高收益的股票在未来仍然会延续原来的良好趋势;相反,在同一时间区间内收益较差的股票在接下来的一段时间内也会延续其原有趋势,即股票投资收益
学位
自马科维茨建立现代投资组合理论以来,现代金融学迈入了全新的领域,基于理性人假设的各类金融理论不断浮现。由尤金法马提出的有效市场假说,在现代金融理论体系中更是扮演着支柱角色。但随着行为金融学的兴起以及市场异象不断被发现,有效市场假说本身正受到挑战。动量效应与反转效应是有效市场假说所难以解释的代表性市场异象,动量策略同时也是机构投资者惯常采用的选股策略之一。国内外已有许多学者对世界各国股票市场中动量效
学位
随着我国债券市场的不断发展,公司债券成为重要的融资工具。相较于银行贷款,直接融资面向对象更为广泛,筹资成本更低。近两年,我国债券市场迅速发展,成为仅次于美国和日本的世界第三大债券市场。但是相较于传统银行贷款市场,债券投资人与发行人之间存在更加严重的信息不对称问题。同时由于债券投资人众多,单个投资人对发行人的监管动力和能力也相对不足,近两年频频出现的债券违约现象也能说明这一点。而银行在向公司提供贷款
学位