【摘 要】
:
近年来,随着人工智能、数字媒体、计算机视觉技术的高速发展,神经网络逐步进入人们的视野,各类算法也层出不穷,如:迁移学习算法、dropout系列算法、网络规范化算法等。这些算法在社会各领域均取得了很好的表现,如:门禁、考勤、无人机、无人车、银行网络支付等领域。随着相关技术应用范围越来越广,人们对于网络精度的要求也越来越高。一个好的神经网络不仅需要在训练数据集上表现出良好的性能,也要使其在测试数据集上
论文部分内容阅读
近年来,随着人工智能、数字媒体、计算机视觉技术的高速发展,神经网络逐步进入人们的视野,各类算法也层出不穷,如:迁移学习算法、dropout系列算法、网络规范化算法等。这些算法在社会各领域均取得了很好的表现,如:门禁、考勤、无人机、无人车、银行网络支付等领域。随着相关技术应用范围越来越广,人们对于网络精度的要求也越来越高。一个好的神经网络不仅需要在训练数据集上表现出良好的性能,也要使其在测试数据集上表现出更好的性能,即:神经网络的泛化能力。近年来,提升神经网络的泛化能力受到人们的广泛关注,人们也为这项技术的发展提出了新的要求与挑战。比如:如何解决dropout与批标准化联合使用造成的方差偏移问题;如何解决训练阶段梯度变化不稳定的问题;如何减小迁移学习中数据集不匹配带来的退化问题等。本文从虚拟数据与真实数据联合训练入手,进一步探究正则化方法对于网络提升的影响,以落实图像处理技术应用为目的展开了相关的研究,在实践中实现、应用和检验了各算法的优化程度,取得了如下的创新性成果:(1)针对Dropout系列方法与批标准化(BN)方法同时使用会降低网络训练结果的问题,我们提出了子批移除算法。该方法通过在批层面整块移除图像的特征并在移除后重新计算BN的均值与方差达到消除训练与测试时的方差偏移问题,在分类分割测试集上取得了超越以往算法的效果,其中在CIFAR测试集上取得了1~3点的提升,在Imagenet数据集上取得了1.1点的提升,在Cityscape和Pascal VOC数据集上取得了1~2点的提升,实验结果证明了该方法的有效性。(2)针对训练阶段梯度变化不稳定的问题,本文引入了梯度规范化算法。该算法弥补了梯度维度的网络规范化的空缺,并为网络规范化问题又增添了一项重要的技术。其中在imagenet数据集上有1个点的提升,在Cityscape数据集和Pascal VOC数据集有1~2个点的提升。实验结果表明该算法在图像分类与分割问题上都产生了不错的效果。(3)针对虚拟图像与真实图像之间的差异,我们提出了层次化权重网络来完成图像分割任务。首先,我们使用真实图像与虚拟图像训练层次化权重网络来提取掩模特征;然后,我们使用迁移学习方法,基于层次化权重网络从像素、区域以及图像层次在虚拟图像中选取其像真实图像的区域加入到训练过程中;最后,我们使用生成对抗网络拉近两个域之间的距离,并有效提升网络训练的准确率。该方法在单源域单目标域数据集上取得了近1个点的提升,在双源域单目标域数据集上取得了近2个点的提升。
其他文献
膨胀石墨(EG)作为一种新型多功能碳材料,由于其传统制备工艺主要采用以硫酸为主的化学氧化法,其膨胀体积多为200-300 m L/g,其残余的硫易造成腐蚀和催化剂失活等副作用,且制备过程中产生的二氧化硫气体会加剧空气污染。因此高膨胀体积无硫膨胀石墨的制备和膨胀石墨功能材料的研发以及其工程应用领域拓展,是当今的膨胀石墨材料的开发与应用中的热点。基于此,本学位论文设计一种高膨胀体积的无硫膨胀石墨的制备
抽油机井工作过程中,抽油杆柱存在明显的振动。抽油杆柱振动将影响油井悬点示功图、泵功图与杆管接触状态,进而影响油井能耗与杆管偏磨情况。因此,对杆柱振动力学的研究是抽油系统节能优化设计与杆管防偏磨设计的基础。目前对定向井抽油杆柱振动力学的研究尚存在不足:未考虑抽油泵内流体气液分离对杆柱纵向振动的影响;未考虑弯曲井眼轨道对轴向往复运动抽油杆柱振动的激励;未指明杆柱扭转振动的激励。针对上述不足,并以静、动
近年来,安防监控系统在城乡的覆盖率迅速增加,如何处理和分析海量的监控视频成为国家公共安全建设亟待解决的问题。异常事件是威胁公共安全的主要因素之一,因此研究异常检测技术具有重要意义。目前许多研究人员基于不同类型的特征,利用深度学习方法来训练异常事件检测模型,推动了异常事件检测技术的发展。然而,已有的工作在单场景或多场景中实体间时空关系建模、从长时视频序列中学习正常特征方面仍有不足,无法满足实际应用需
随机优化控制是控制论的一个重要分支,由于该问题的普遍性,相关建模和应用越来越受到学术界和业界的关注。本文介绍了随机优化控制的两种优化方法-动态规划和灵敏度方法,前者由于其独特的求解思路灵敏度方法在各种复杂情况下更加适用和高效。然后将灵敏度方法应用于投资组合中三个特殊的优化问题-非期望效用优化问题、有约束的线性二次型最优控制问题以及基于限价指令簿的附加信息股票交易优化问题。灵敏度方法根据系统的性能变
产业集聚的研究由来已久,是经济活动中最为突出的空间特征。无论是发达国家还是发展中国家、无论是陆域产业还是海洋产业、无论是传统产业还是高新技术产业,均普遍存在空间集聚现象。产业集聚涉及多门学科,经济地理学、产业经济学、区域经济学等均对产业集聚现象进行深入研究。理论和实践研究表明,产业集聚是提升产业竞争力的有效途径,对促进区域绿色经济增长有着十分重要的影响。随着陆域资源的紧缺,围绕海洋资源的开发、大力
道路交通系统因总体交通政策和项目而异,当考虑到相关的生态因素,其测量变得非常复杂。由于道路运输系统的定义不同,其效率可能会得出非常不同的假设。评估道路运输系统效率的常用方法是基于机动性,机动性与有效出行成本、时间、安全性、灵活性和利润等正相关。尽管如此,能源和相关排放也与交通系统有着积极的联系,但并未与其直接性能指标一起公开研究。自工业革命以来,基础设施的升级和扩建一直是交通系统改善的一部分。直到
金属零件中非金属夹杂物的存在严重削弱了基体的力学性能,因此高端装备用大型锻件对其内部非金属夹杂物的尺寸与分布状态均具有严格限制。现阶段的冶炼技术无法完全去除钢中的非金属夹杂物,对于钢锭内部危害较大的大尺寸硬性夹杂物,锻造变形是使其破碎和弥散的主要途径。因此,针对锻件中硬性夹杂物锻造过程中的破碎与弥散行为展开研究,可为解决生产中由硬性夹杂物导致的锻件制废问题提供相应的理论基础与技术支撑。本文以钢中典
板带热连轧是典型流程工业,其终极目标是短流程化和高度自动化,但在短流程化进程中装备技术容易出现过度刚性连接,导致装备工艺和产品之间柔性适配度低,缺乏柔性调控能力。如ESP精轧机组轧辊磨损严重制约其技术发挥的瓶颈问题。针对板带热连轧短流程化进程中出现的最新热点和共性难题,开展板带无头轧制在线换辊技术及动态轧制理论研究。针对以ESP为代表的无头轧制产线,从在线换辊策略制定及调节模型建立、轧辊撤出及投入
近年来,随着移动智能设备的普及和网络信息技术的迅猛发展,在线社交网络为人们分享信息和交流观点等提供了时间和空间上的便利平台,并逐渐成为社会信息传播的重要途径。特别是当社交网络信息具有很强的吸引力时,极易驱使网民在好奇心的作用下查看和传播信息内容,进而促进信息在较短时间内迅速大规模传播,甚至引发事件升级,给政府治理带来严峻挑战,更有可能威胁社会秩序和国家安全。本文旨在利用传染病动力学模型和种群动力学
我国高等教育体系已基本形成,内涵式发展进入了实质性阶段。高等教育竞争日趋激烈,高等教育市场化倾向日益明显。以习近平同志为核心的党中央把职业教育重视的程度提高到前所未有的高度,强调“职业教育与普通教育是两种不同教育类型,具有同等重要地位”。同时,高层次应用技能型创新人才的数量和结构与市场需求不匹配,教育结构和教育质量都有待进一步提升和改善。地方新建本科院校向应用技术型高校的转型发展是高等教育内涵化发