【摘 要】
：
大多数机器学习问题可以描述为数据项加约束项的形式。当约束项是稀疏约束,即需要求解的稀疏或在某个域内稀疏时,则问题转变为稀疏约束问题。稀疏约束问题具有广泛的研究意义,如图像去噪、信号恢复、超分辨率、压缩感知和神经网络剪枝等任务都属于稀疏约束问题。稀疏约束问题的求解越来越受到学者的重视。本文的目的是寻找性能优良的解决稀疏约束问题的方法,重点研究以下三个具体问题:1.近年来,可学习迭代收缩阈值算法（Le
论文部分内容阅读
大多数机器学习问题可以描述为数据项加约束项的形式。当约束项是稀疏约束,即需要求解的稀疏或在某个域内稀疏时,则问题转变为稀疏约束问题。稀疏约束问题具有广泛的研究意义,如图像去噪、信号恢复、超分辨率、压缩感知和神经网络剪枝等任务都属于稀疏约束问题。稀疏约束问题的求解越来越受到学者的重视。本文的目的是寻找性能优良的解决稀疏约束问题的方法,重点研究以下三个具体问题:1.近年来,可学习迭代收缩阈值算法（Learned Iterative Shrinkage Threshold Algorithm,LISTA）因其在稀疏优化中的良好性能而受到越来越多的关注。然而,现有的LISTA均为串行连接,而在深度学习中残差结构相比串行连接具有更好的性能。针对这个问题,本文首先在LISTA中引入额外梯度,使LISTA具有可解释的残差结构。其次,越来越多的研究表明,软阈值函数（Soft Threshold function,ST）会带来较大的估计偏差。为解决这一问题,本文结合ST和硬阈值函数的优点,提出了多阶段阈值函数（Multistage Threshold function,MT）。结合上述两点改进,本文提出了额外梯度可学习迭代收缩阈值算法（Extragradient Learned Iterative Shrinkage Threshold Algorithm,ELISTA）。本文在理论上证明了ELISTA可以实现线性收敛并通过稀疏信号恢复、图像修复和基于光度立体三维几何恢复实验证明了ELISTA的优良性能。2.稀疏化神经网络剪枝是一种有效的神经网络小型化技术。然而,在给定参数预算下,现有的技术无法达到令人满意的性能。最新的软阈值重参数化（Soft Threshold Reparameterization,STR）技术利用了网络参数的稀疏性取得了最好的性能。但是当STR面对高稀疏率时,很容易将某一层的所有参数设置为0,从而导致网络故障。为了解决这一问题,本文将上一章提出的MT应用于神经网络剪枝,并提出多阶段阈值函数重参数化（Multistage Threshold Reparameterization,MTR）。实验证明,本文的MTR在稀疏化神经网络剪枝领域具有竞争力的性能,特别是在高稀疏率的情况下,远超当前算法。3.压缩感知是被广泛研究的稀疏约束问题,目前主流的求解算法大致分为三类:严格理论保证的优化算法,神经网络黑盒模型算法和结合两者优点的可学习优化算法,其中可学习优化算法具有现阶段最好的性能。然而,对于可学习优化算法,看似合理的网络模型其实还是黑盒,即对于约束项的建模是不严格的。借助可逆神经网络（Invertible Neural Network,INN）,本文对第一类优化算法中的正反变换进行严格的建模。进一步的,现有的可学习优化都只是对约束项进行建模。本文同时对数据项进行改进,提出了性能更加优异的可逆先验网络（Invertible Priori Network,IPNet）,实验证明了IPNet网络具有较现有算法更优异的性能。
其他文献
随着计算机在人们生活工作中的普及,越来越多的人在使用电子显示屏幕的过程中出现了不同程度的疲劳症状。疲劳的出现不仅会使得作业人员的工作能力下降,当人体在发生疲劳后继续作业,还会引发一系列健康问题。研究发现,近些年来因长时间使用电子设备遭受眼疾的患者数量大幅增加。如何及时且准确的检测作业人员的视觉疲劳状态对于减少人群中相关疾病的发生有着重要的意义。目前的疲劳检测方法存在着如数据种类单一,检测结果易受环
拷贝数变异（Copy number variation,CNV）是基因组中一种重要的结构变异,它通常是基因组变异中最常见的变异。研究表明,基因组CNV区域中是否隐含具有生物意义的基因,与癌细胞的产生和发展有密切联系。因此对CNV进行合理的分析,能够为癌症发生机理研究和靶向精准诊疗提供重要信息和科学依据。准确检测CNV是对其进行合理分析的基础,然而,由于CNV区域长且形式复杂多样,对其准确检测具有极
在现实世界中存在着大量的昂贵有约束的黑盒优化问题,这类问题具有问题无梯度信息、约束条件难处理、真实函数评价数据昂贵的三大难点。数据驱动的进化约束优化分别采用了进化算法、约束处理技术和代理模型逐一应对,已经成为解决这类问题的主要方法。现有的数据驱动的进化约束优化方法在解决昂贵有约束的黑盒优化问题上取得了一定成果,但在解决这类问题上仍遇到了诸多挑战。尤其在较小真实数据量的情况下,算法需要在有限的数据量
不同于传统的图像传感器,动态视觉传感器（Dynamic Vision Sensor,DVS）在成像原理上只有外界光照强度的变化值超过设定的阈值时才会有图像。因为这种特性,使得DVS图像传感器在成像上具有低冗余、高帧率、成像时间短的特点。凭借这些特点,DVS图像传感器在自动驾驶、运动目标检测等领域具有传统图像传感器不具有的优势。本文在课题组设计的DVS传感器的基础上,实现的工作包括系统硬、软件及结构
在互联网飞速发展的背景下,网络中的知识信息迎来了爆炸式的增长,大量的领域知识分散地隐藏在网络数据中。面对海量的领域知识,想要第一时间从中获得需要的关键信息变得非常困难。由于缺少统一的知识集成管理和可视化分析方式,导致知识的共享率不高,而且无法进行有效的分析和复用。此外,在数据多样化的发展趋势下,人们对于知识的多维度表示需求日益增加,这对知识的共享管理和可视化分析提出了更高的要求。目前已有一些知识平
行人检测作为智能安防系统、自动驾驶系统、智能机器人等应用领域的关键技术,有重要的研究价值和意义。目前基于深度学习的行人检测已初步取得成效,但针对大视场高分辨监控视频中的行人检测研究较少,由于其中行人数量多、尺度差异大,已有的行人检测模型难以实现准确的检测定位。本文开展了基于深度学习的大视场高分辨监控视频行人检测研究,结合图像的特点,在图像预处理,提取特征,图像后处理三部分进行了改进,提升了行人检测
人脸吸引力评估研究作为计算机视觉领域中具有挑战性的课题,受到了许多学者的广泛关注,同时也取得了一系列研究成果。但是先前的人脸吸引力评估方法主要学习的是从人脸美学特征点到吸引力得分之间的简单映射,这些方法忽略了人脸吸引力评估中存在的主观性,即不同的人对人脸美学的认知或评判标准是存在偏差的。另外,现有的公开人脸吸引力数据集规模较小,使得模型容易过拟合且泛化能力较差。针对以上问题,本文提出基于相对排名的
目标跟踪问题是计算机视觉领域的热点研究课题,其通过视频序列第一帧目标的位置尺度信息,预测出后续帧目标的位置和尺度。目标跟踪技术广泛应用于安防监控、智能交通和体育赛事转播等领域。现阶段的目标跟踪面临许多挑战,比如运动模糊、低光照、目标被遮挡、背景干扰等因素,影响了跟踪器的性能。近年来借助深度学习的蓬勃发展,科研学者提出了基于深度学习的目标跟踪框架来解决可见光（RGB）目标跟踪问题,这些目标跟踪算法利
当前,工程实践领域中的许多问题都可以转化为多模态优化问题,即要求同时找到问题的多个或全部最优解,以供决策者进行选择。进化算法因其具有全局选择和随机搜索的特点,常用于解决优化问题。然而,传统的进化算法的目的是找到问题的一个解,在处理多模态优化问题时,难以稳定地同时收敛到多个最优解。为了提高进化算法处理多模态优化问题的能力,需要保留种群的多样性,小生境技术的加入能够很好地实现这个效果。差分进化算法是进
随着移动互联网技术的迅速普及,个人以及服务器上的图像资源已经越来越丰富,这个巨大的图像数据库中蕴藏着大量有价值的信息。视觉模式挖掘技术致力于对海量图像数据自适应分析并处理,以此获取有意义的规律并加以利用,该任务也是近年来多媒体数据挖掘领域的热点研究方向之一。视觉模式是指通常出现在图像中的基本元素,并且往往比原始像素传达更高级别的语义信息。它们可以捕捉视觉对象或者场景的本质内容,并代表了对象在视觉世