面向图像超分辨率重建的深度学习模型压缩算法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:suaixin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像超分辨率(Super Resolution,SR)是已知低分辨率(Low-resolution,LR)图像的前提下,预测出清晰纹理和锐利边缘的高分辨率(High-resolution,HR)图像。随着研究人员对SR问题的不断探索,模型结构越来越复杂,网络深度不断增加,导致参数量和计算量大幅增加,对模型高效的部署在移动端和其他资源受限平台上带来诸多困难。因此,模型压缩技术应运而生,实现降低计算量和参数量、加快推理速度的目的。现有的模型压缩算法存在着压缩效果不明显和压缩后的模型精度恢复有限等缺陷,面向SR的模型压缩算法还没有广泛研究。此外,在图像SR领域,大部分文献假设LR图像由单一退化核(例如双三次插值降采样)退化而来,但实际应用场景下LR图像并不满足这一假设,导致推理过程SR重建性能会大大降低。因此,本文提出使用一种综合退化机制来模拟复杂场景下的LR图像退化过程。本文在图像SR领域的模型压缩算法做出探索研究,提出一种两阶段的组合级联式模型压缩方法,从模型的深度和宽度去除冗余;涉及知识蒸馏和模型剪枝两种压缩方法。本文主要研究内容和贡献如下:第一阶段,基于知识蒸馏,提出一种基于响应和注意力特征的SR离线蒸馏框架,设立助教节点多阶段地迁移知识到学生模型,降低教师模型和学生模型之间学习能力的差距。选取三种SR网络模型作为实验对象,通过设置不同参数探索最优蒸馏压缩参数。利用多个评价指标,多角度地衡量模型压缩效果和SR模型压缩后的重建性能,并与其他蒸馏算法做了对比实验。实验结果表明在降低模型参数量和计算量的前提下,SR模型重建HR图像性能基本不变。第二阶段,在经过知识蒸馏压缩后的基础上,使用结构化剪枝算法压缩卷积核。设计了标准卷积级联形式、残差跳接模块和密集连接模块的剪枝处理算法。重训练过程,将通道域和空域注意机制嵌入到SR网络中增强网络表达能力。实验结果表明两阶段压缩算法能更全面地挖掘模型冗余,加强了模型压缩效果的同时,可以忽略SR模型重建性能的下降。
其他文献
鄂尔多斯盆地北缘铀矿集区是中国北方最重要的砂岩型铀矿产地之一,为查明该区砂岩型铀矿中热液改造的铀成矿效应,综合应用薄片鉴定、扫描电镜与电子探针等手段对黑云母绿泥石化过程的矿物-地球化学特征开展研究.研究表明,鄂尔多斯盆地北缘砂岩型铀矿含矿层砂岩中黑云母多发生绿泥石化,常沿黑云母的解理和边缘进行蚀变交代,并伴随着Si,Fe,Ti,U等元素释放;与黑云母绿泥石化有关热液温度在137.3~208.3℃之
研究目的:我国的残疾人口在第六次全国人口普查时已达8502万,约占全国总人口的6.21%,其中以肢体残疾人数为最多,达到了2472万,这是一个不容忽视的有着特殊需要的群体,党和国家高度重视残疾人体育事业发展,《国务院办公厅关于进一步加强残疾人体育工作的意见》《关于促进残疾人事业发展的意见》《全民健身条例》《国家基本公共服务体系"十二五"全面建成小康规划》《国务院关于加快推进残疾人小康进程意见》等一
教育是国之大计、党之大计,各级人民政府对中小学教育越来越重视,对中小学的教育经费投入也在不断加大。现阶段,中小学的办学条件越来越好,中小学的各项固定资产配置也在不断优化,因此,中小学固定资产管理工作对学校管理和国有资产管理也越来越重要,但目前中小学的固定资产管理存在一些问题。本文从中小学固定资产管理的特点出发,发现固定资产管理存在的问题,根据存在的问题提出合理建议和解决对策,希望能够为提高中小学固
2022年4月,教育部制定了义务教育阶段体育与健康课程标准(2022年版),新课标坚持培养有理想、有本领、有担当的时代新人,注重对实际问题的有效回应,体现课程时代性,着重培养学生核心素养。在"新课标"背景下要想切实提高小学足球高质量发展,学校教育工作者就需另辟蹊径。研究目的:本文通过深挖其发展意义,提高教育工作者内驱力。在新课标中明确给出了义务阶段各水平段足球课程具体内容,提出具体要求,结合小学学
在国家承诺2030年碳达峰与2060年实现碳中和的背景下,发展低碳住宅建筑是建筑界实现碳中和的重点。本文通过剖析乌鲁木齐市城市化过程中出现的高耗能、高碳排放等问题,对乌鲁木齐市低碳建筑发展历程进行梳理,对低碳住宅建筑的内涵进行解读。针对乌鲁木齐市发展低碳住宅建筑的难点进行剖析,提出政策引导、被动设计、生态文明的设计观,提出在建筑设计的过程中主动优化,传统与现代建造技术相结合的设计手法,以及提倡工业
<正>文旅型特色小镇是近些年来国家发展重点扶持的项目,也是以文化旅游带动其他产业发展的目的,同时考虑产业结构的升级,充分利用当地原有的特色化,地域化等因素,充分进行整合设计。同时文旅小镇的设计要注重对原有地域环境的保护与更新,将当地特有的民俗风情,人文地域景观,旅游资源为载体进行一体化更新与设计,可以较好的吸引大量的游客前来参观,并且带动当地的文化旅游产业,促进经济的发展。
期刊
《“健康中国2030”规划纲要》中提到,健康是促进人的全面发展的必然要求,是经济社会发展的基础条件。公立医院作为医疗卫生服务体系的主体,其改革发展是一项重大民生工程,是深化医药卫生体制改革的重要内容,事关广大人民群众健康福祉。近年来,国家不断推进公立医院综合改革试点工作,创新公立医院编制管理方式成为深化公立医院综合改革的关键环节,江西省2017年发布了《关于城市公立医院实行人员总量管理试点的指导意