基于神经网络结构搜索的图像超分辨研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:wdkkiller
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
超分辨重建,包括尺度提升重建和去模糊重建,是指从低分辨或模糊图像中逆向重建为清晰的图像,可以应用于高清视频、医学影像、安防、计算摄影等多项领域,部分时候也承担着计算机视觉高维应用的前置预处理工作,如目标检测与分割中的去模糊,文字识别中的文本增强和网纹去除等。大部分基于深度学习的超分辨图像重建方法是根据经验及多次实验手工设计的,这种方式存在的问题在于,不同的网络需要在不同的超分辨场景下进行训练,网络在结构和损失函数等诸多方面都存在差异。为了弥补上述手工设计网络的不足,近年来也出现了使用神经结构搜索方法(Neural Architecture Search,NAS)来搜索超分辨图像重建网络结构的思路,但仍在损失函数、色彩空间、训练方式等方面引入了大量的人工先验知识,且大多数搜索方法使用了遗传算法,搜索空间大,导致了搜索时间长。为此,本文提出了神经组件搜索(Neural Component Search,NCS)方法,扩充了搜索空间的表征范围,同时使用超图权值共享的方式加速搜索速度。本论文的主要研究内容如下:(1)设计了神经组件搜索方法,针对神经结构搜索方法的搜索空间仅局限于网络结构的不足,神经组件搜素方法将损失组成和色彩空间也作为搜索空间的一部分。其中损失组成包含了像素损失、个体噪声损失和对抗损失,是否选择对抗损失也决定了网络的训练方式。(2)用提出的神经组件搜索方法在特定约束条件下搜索超分辨图像重建网络解决跨尺度超分辨问题,设计了共享生成器和共享鉴别器的搜索空间。共享生成器由浅层特征提取、自适应特征提取、深度特征提取与重建、上采样四个模块组成;共享鉴别器被设计为一种较为精简、自由度相对较低的模型,由五个鉴别器模块和全连接层组成;同时设计了四种损失函数搜索空间和两种色彩搜索空间。在上述设置下,根据不同的计算量约束条件,搜索出了不同的网络,通过实验验证了神经组件搜索方法的搜索效率和搜索出的模型性能。(3)设计端到端的运动模糊去除网络以解决同尺度超分辨问题,同时提出了一种运动模糊数据模拟方法对训练集进行扩充,该模拟方法的本质是模拟被摄场景相对于传感器中心的随机运动轨迹,通过运动轨迹生成运动模糊核,从而得到模糊图像。通过实验验证了提出的端到端运动模糊去除网络的推理速度和性能。(4)研究超分辨技术与人体动作分类模型相结合对动作分类精度的提升,通过对待检测视频进行超分辨帧处理提高人体骨架的检测精度,从而提高骨架时空图的构建精度,实现动作分类精度的提升。实验证明,无论是在Kinetics验证集还是真是自然场景摔倒检测应用中,超分辨帧处理均能对动作分类模型的精度有较大的提升作用。
其他文献
水面无人艇(Unmanned Surface Vehicle,USV)作为一种具有自主航行、自动作业能力的水面平台,具有低成本、环境适应性强等特点,在民用和军事领域均有广泛的应用前景。路径规划与避障技术是实现无人艇智能化的关键技术之一,是当前发展的热点。相较于单一无人艇,使用多艘无人艇组成编队协同合作,实现共同目标,可以提高效率、增强容错能力。本文在此背景下,对相关技术进行研究,并设计了适用于动态
基于机器视觉的参数检测和测量是稻麦收获机智能化发展的重要的方向之一。论文围绕割幅宽度和稻麦高度测量原理,作物边界线提取,稻麦高度线提取和算法验证,对智能稻麦收获机实时割幅测量和稻麦高度测量进行了深入研究。论文的主要研究内容为:(1)研究视觉测高和测宽原理,获取测量图像。研究世界坐标系到像素坐标系的转换原理和逆透视变换原理,依据逆透视变换实现割幅宽度的测量;针对利用卷尺等传统测量方法测量稻麦株高效率
随着我国“海洋强国”战略的不断发展,全球能源危机的加剧以及环保意识的增强,海洋能发电技术得到广泛关注。直驱式波浪发电系统采用永磁同步直线电机作为发电机,动子与浮子直接相连,在浮子式波浪机作用下做往复运动,省去了传动环节,具有结构简单、效率较高、稳定性强的特点,为同时实现发电系统的稳定运行和最大波浪能量提取,需要为系统选择合适的功率变流器与控制策略。鉴于捕获瞬时功率存在的波动问题,选择储能装置平抑功
研究背景与目的苯(Benzene,C6H6)是一种重要的环境污染物,主要来自于室内装修的涂料、有机溶剂、汽车尾气和烟草燃烧等。长期低水平苯暴露可导致慢性苯中毒,可引起严重的血液系统的损伤,如全血细胞的减少,严重者可导致骨髓异常增生综合征和白血病。苯通过不同途径进入机体后,经过一系列代谢,最后在骨髓生成终致癌物1,4-苯醌(1,4-Benzoquinone,1,4-BQ)。研究发现在苯代谢过程中可产
电站锅炉超低排放改造后,SCR氨逃逸造成下游空预器蓄热板表面产生硫酸氢铵(NH4HSO4,简称ABS)积灰,这类积灰不同于松散性积灰,其粘性极强,因此传统的飞灰沉积模型不适用于ABS粘结性积灰。此外,对于ABS粘结性积灰的实验研究多集中在ABS对飞灰颗粒的影响机理研究。因此,本文分别通过数值模拟和实验的方法研究了蓄热板表面的积灰特性,进而预测空预器运行时ABS积灰位置及积灰强度,对指导空预器有效吹
危险驾驶行为是导致交通事故的重要原因。监控驾驶人行为,在危险驾驶发生前进行预警,对减少事故发生率有着至关重要的意义。现有的计算能力以及数据采集设备已经可以实现实时采集数据并计算分析,使得事前预警成为现实。驾驶人在驾驶车辆过程中,当出现情绪失控会导致驾驶变形。现有研究主要聚焦于不同情绪下的驾驶特性,很少有研究将情绪作为行为预测的特征。因此,本文通过融合驾驶人面部表情数据和车辆运动数据预测驾驶人的驾驶
次同步振荡(Subsynchronous Oscillation,SSO)是风电并网系统中存在的重要稳定性问题。国内外目前已发生多起由风电引起的重大SSO事故。由风电场引起的SSO,可能会造成风电场设备损坏、引起大面积新能源发电机组脱网、诱发附近火电机组轴系扭振等,严重影响电网稳定。因此有必要对风电并网中的SSO进行精准辨识并及时定位,为进一步施加控制措施提供依据。本文围绕风电并网系统的SSO问题
噪声性听力损失(NIHL)是因接触噪音而导致的进行性感音神经性听力损失。大约16%的成年人听力损失与工作场所的噪声暴露有关,职业噪声性听力损失是世界范围内最普遍的职业病,已成为一个全球性的公共卫生问题。并且由于治疗效果不佳,加强噪声性听力损失病因学和发病机制的研究,筛选可靠的预测噪声性听力损失发生发展的生物标志,已经成为我国职业病防治研究领域的重点。基于人群数据的流行病学研究和噪声聋动物模型的相关
近年来,随着计算机和通信技术的飞速发展,大规模传感器网络、物联网系统得到了广泛的应用。随之产生的海量且空间分布广泛的数据对优化算法提出了更高的要求,这使得依托于信息交互、具有可扩展性的分布式优化算法成为当前研究的热点。其中,一个重要的方向就是研究分布式优化算法的加速机制设计,提升算法的收敛速度。当前的分布式优化算法加速机制设计大多建立在静态、无向的通信网络上,要求计算节点的通信必须是双向的,这使得
学位