强凸有限和优化的紧下界复杂度研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:fancysoul
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
有限和(finite sum)优化问题,也被称为经验风险最小化,是机器学习领域的关键问题,它可以帮助学习模型获得令人满意的性能,因而需要进行深入研究。为了解决这样一个问题,许多研究者设计出了各种不同的随机增量梯度方法(randomized incremental gradient methods),包括SAG(Stochastic Average Gradient)、SVRG(Stochastic Variance Reduced Gradient)和Katyusha等等,并给出了这些算法在不同条件下的上界复杂度的分析。尽管如此,研究清楚这些算法在某些情况下是否可以具有更小的复杂度,以及是否存在其他一些具有更高性能的方法仍然很重要。为了回答这些问题,一些研究者提出了不同条件下算法的下界复杂度。然而,这些下界依赖于特定的条件:确定性的优化算法,或者是分量函数(component function)的选择遵从某个固定的概率分布。同时,在某些情况下一些下界复杂度并没有与已知算法的上界复杂度相匹配。为了打破这些限制,本文在两种经典的有限和优化问题类别上,得到了随机增量梯度方法的紧的下界复杂度。证明技巧是建立一种通用的证明框架,首先分别在两种情况下构造相应的对抗函数(adversarial function),并根据当前迭代点到有限和函数的最优点的距离,得到该距离的一个下界;然后根据有限和函数的凸性,得到当前函数值与最优函数值差值的下界;接着得到迭代次数的一个下界,并运用不等式的技巧估计其中的关键参数,最终得到下界复杂度。得到的结果是:当分量函数是强凸和光滑的时候,得到的下界收敛复杂度与Katyusha算法的上界复杂度紧密匹配;当有限和函数本身是强凸函数,且分量函数序列是平均光滑的时候,其下界复杂度与SDCA without duality和Katyusha X算法的上界复杂度紧密匹配。同时,两种情况下解的精度参数与条件数和函数个数无依赖性。
其他文献
苯乙基间苯二酚(Phenylethyl resorcinol,PR)是一种高效美白活性成分,是高活性的酪氨酸酶抑制剂,能有效抑制黑素细胞中黑色素的合成。但是,PR的光、热稳定性差,易氧化变色,且溶解性差,难以透皮吸收,难以被黑素细胞摄取。纳米脂质体具有良好的细胞亲和性和生物相容性,可有效增加活性成分的稳定性,改善活性成分溶解性。人体皮肤及皮肤细胞呈负电性,将纳米脂质体进行修饰,制备成带正电荷的阳离
互联网技术的发展已逐渐改变了人们获取信息的方式,如何从非结构化文本信息中获取关键信息以构建知识图谱面临巨大的挑战。作为知识图谱的基础任务,命名体识别和关系抽取的目的在于从非结构化文本中分别抽取实体和实体之间的关系,从而为语义检索、知识问答、逻辑推理等下游任务提供重要的支持。本文在对实体关系联合抽取任务研究时发现,现有的联合抽取模型由于存在误差传播、信息冗余等问题,导致其很难有效地抽取出语句中的所有
【研究背景】阿尔兹海默症(Alzheimer’s Disease,AD,亦称老年性痴呆症)是全世界最常见的神经退行性疾病,主要表现为进行加重的、以记忆障碍为核心的认知功能损害和精神行为异常。其大脑皮质及海马等脑区的核心病理变化包括:细胞内tau蛋白过度磷酸化后聚集而成的双股螺旋细丝(Paired helical filaments,PHFs),进一步形成神经原纤维缠结(Neurofibrillar
货物识别定位技术是物流自动化领域的核心技术之一,但仍然无法达到工业级应用水平。本文以实现工业应用级货物识别定位算法为目标,围绕交互式堆垛纸箱机器视觉定位方法存在的泛化性不够高和交互不敏感等关键问题,从算法架构、数据集、训练方法三个方面展开研究,具体研究内容和结论如下:1)提出了模拟纸箱堆垛拆垛交互过程的交互式堆垛纸箱机器视觉定位算法。交互定位抓取方法结合智能装车卸车实际工况,将堆垛纸箱定位这种密集
研究背景:围术期心肌缺血再灌注损伤发生率高,严重影响病人康复。既往研究表明心肌缺血再灌注后缺血区及周围心肌交感神经活性增加,相应部位自主神经支配失衡,而脊髓作为调控心脏功能的重要部位,在这一过程中的作用研究甚少。研究目的:本研究旨在通过转录组高通量测序技术,探讨6-羟多巴胺(6-OHDA)去交感神经支配对心肌缺血再灌注损伤后上胸段脊髓差异基因表达的影响。研究方法:选取健康成年雄性Sprague D
随着近年来风能的快速发展,陆上和海上适宜新建风电场区域逐渐减少,在一定的建设区域内,合理的风电场排布能更有效利用风能、减小建造成本、提高风电场的稳定输出。本文主要考虑,风力机运行时,除了尾迹(减速区)外,在风力机尾迹外部,还会出现风速提高的区域(加速区),该区域可以用于布置更高功率的风力机。本文主要对这加速区进行了数值及实验分析:1、研究了单台风力机尾迹区速度亏损及加速区的特征。主要采用稳态计算流
在互联网成为新基建的时代背景下,互联网与各类城市服务功能不断融合,形成了“网红餐饮”、“网红娱乐”、“网红游览”等“互联网+”的新型城市服务设施。并且随着手机使用人群的不断扩大,消费者资讯获取方式与消费模式的巨大转变,使得网红设施成为消费者消费生活的热点与潮流。但目前城市规划领域对于网红设施的研究较少,有必要开展网红设施空间分布与影响因素的研究,剖析城市空间要素对网红设施空间分布的影响,引导网红设
换向器是直流电机的核心部件之一,在直流电机的运转中发挥关键的作用。目前,换向器的质检主要依靠人工。然而,人工质检存在成本高、效率低以及检测精度有限等问题,使得自动化检测成为企业发展的趋势。机器视觉技术凭借无接触、响应快等优势在工业检测领域具有较好的应用前景。本文基于视觉技术,针对换向器钩上缺陷的检测方法进行探讨和研究,并提出相应的解决方案。主要研究内容如下:针对弯钩表面存在纹理复杂、低对比度缺陷与
半导体激光器广泛应用于光通信、气体探测、激光医疗和国防军事等领域,主要通过在外延层中引入布拉格光栅来实现单模激射。典型的单模半导体激光器有分布反馈式(Distributed Feedback,DFB)激光器和分布布拉格反射(Distributed Bragg Reflector,DBR)激光器,这两种激光器都采用掩埋光栅结构,需要二次外延,制作过程较为复杂,因此本论文对基于垂直耦合的高阶表面光栅D
轴承是数控机床中的关键部件,其健康状态会影响机床加工精度、机床寿命以及事故发生几率,因此对轴承故障进行监测诊断,保证轴承平稳运行至关重要。本文以滚动轴承为对象,基于卷积神经网络研究噪声环境下轴承故障快速诊断技术,论文主要内容如下:建立了基于一维卷积神经网络的端到端故障诊断模型(CNNDM-1D),实现轴承振动信号特征提取和故障分类一体化。开展实验对模型结构和超参数进行优化,引入批量归一化改进,并验