【摘 要】
：
导数计算是包括机器学习在内的多个领域的重要需求,针对这一需求,目前存在多种不同的微分方法和实现手段。其中,基于源代码转换的自动微分由于其高效性以及适用性强的特点被广泛使用,但其实现难度较大。基于操作符重载的自动微分会导致微分的时间开销过高。基于此,本文聚焦于自动微分的实现及优化,通过追踪以及符号微分等方法与源代码转换相结合,以达到自动微分的简洁与高效实现。本文主要的研究成果包括:（1）提出了一种以
论文部分内容阅读
导数计算是包括机器学习在内的多个领域的重要需求,针对这一需求,目前存在多种不同的微分方法和实现手段。其中,基于源代码转换的自动微分由于其高效性以及适用性强的特点被广泛使用,但其实现难度较大。基于操作符重载的自动微分会导致微分的时间开销过高。基于此,本文聚焦于自动微分的实现及优化,通过追踪以及符号微分等方法与源代码转换相结合,以达到自动微分的简洁与高效实现。本文主要的研究成果包括:（1）提出了一种以基本块为单位的自动微分实现方法（Basic Block-based Automatic Differentiation,BBAD）。BBAD使用追踪程序实际运行流的方式,首先对每个基本块内部的指令序列使用源代码转换的自动微分得到其雅克比矩阵,然后将程序运行时经过的基本块的雅克比矩阵以前向模式或反向模式相乘即可得到整个程序的雅克比矩阵。BBAD融合了操作符重载中追踪的思想以及源代码转换的方法,在一定程度上简化了源代码转换方法中对控制流的处理方式,且无需重载每一个操作符,节省了运行时函数调用的开销。（2）提出了一种便于进行微分以及表达式简化的表达式系统SExpr,并基于SExpr提出了一种基于表达式简化的微分和优化算法（Expression Simplificationbased Differentiation and Optimization,ESDO）。SExpr可以表达大部分基础数学运算,并且可以与程序的中间表示进行方便地相互转换。ESDO以符号微分为基础,结合φ-calculus以及表达式简化的思想,使用SExpr作为其符号表达形式,对程序做微分以及简化。利用φ-calculus,ESDO能够对含有条件分支的程序进行微分,同时,基于一系列数学表达式的简化规则,其能够对微分后的SExpr表示进行简化,从而得到更优化的微分代码。在测试的场景中,ESDO所求得导函数的性能优于Julia中的通用自动微分工具Zygote,在包含φ函数的情况下能够带来50倍以上的时间效率提升以及10倍以上的空间效率提升。
其他文献
随着互联网用户的增加,用户之间交互所产生的数据慢慢累积,电子文本信息在互联网中呈现爆炸式的发展。当突发事件发生时,会有许多相关的事件信息在互联网中发布,如何从海量的文本中抽取结构化的突发事件信息也成为网络舆情分析的重要方面。目前突发事件抽取方法主要存在两个问题:一是在触发词抽取方法中,未能充分利用文本的上下文语义信息的重要性进行抽取。二是在论元抽取方法中,未能充分利用句子中的依存句法信息进行抽取。
植物作为重要的食物来源、生态环境的重要组成部分,对人们的生活和发展息息相关。提高绿色植物表型的获取效率是现代智慧农业亟待解决的重要问题。高通量植物表型数据可以帮助研究人员对植物的生长状况进行定量分析。传统植物表型获取方法效率低下,操作繁琐且对植物存在一定的破坏力,影响植物的生长发育。基于图像处理技术的植物表型获取方法虽然在效率上取得一定的提高、并且也不具有破坏性,但是由于植物本身结构复杂,且生长环
传统的有源像素图像传感器具有像素尺寸小、噪声低、灵敏度高的特征。但是基于帧的固定周期性读取方式,传感器的数据率和功耗会随着帧频和分辨率的提升呈现三次方的数量级上升,造成传输受限。脉冲图像传感器通过脉冲调制,将光强转换为时间域的脉冲输出,在同等数据带宽下完成了数据率的压缩,极大地提高了帧频。由于在固定阈值的触发输出形式下,脉冲图像传感器在随着光强增加灰度级损失严重,该噪声限制了脉冲图像传感器在高光强
脉冲神经网络（Spiking Neural Network,SNN）也被称为第三代神经网络,它以脉冲事件驱动的方式实现了神经元突触计算,有望突破人工神经网络现阶段所面临的能源和吞吐量瓶颈问题,在机器人、自动驾驶、军事、航天等领域具有巨大的潜在应用价值。但SNN仍然存在着无法直接训练的难题。基于脉冲时间依赖可塑性（Spike-Timing Dependent Plasticity,STDP）规则的S
近几十年来,人工智能技术发展日新月异,它被认为是第四次工业革命,5G、存储、大数据等多种技术的发展带来了数据的井喷,丰富多样的数据资源为人工智能训练系统提供了依据。本论文所研究的图像语义分割是计算机视觉领域的重要分支,具体来讲它的任务是从像素级的角度分割出图片中的不同对象,对原图中的每个像素都进行标注分类。简单的说就是在一副图像中,把目标从背景中分离出来。语义分割已经被广泛应用于需要提取目标具体轮
国内社区卫生服务设施自发展起步以来,随着现实条件、人民健康需求、以及政策形势要求等不断变化,其发展目标、发展问题、以及发展方式等同样在发生改变。当前,在城市更新导向下,国内社区卫生服务设施发展进入新阶段,面临新的矛盾与需求,本文对北京市中心城区内社区卫生服务设施进行评价与优化研究,旨在为国内不同地区内社区卫生服务设施,在现实条件限制下、持续更新以匹配不同阶段的发展任务时,提供较为普适性的方法与思路
网络对齐是映射不同网络间节点关系的方法,在生物信息、计算机视觉、社交网络领域有着广泛的应用。但是,网络对齐在仅利用网络拓扑图结构进行节点对齐时,存在其内部具有等价关系的节点无法区分的现象,导致了网络对齐结果评价指标较低问题。该问题并不是由对齐算法自身产生,而是图结构中等价类自身特性所致,因此在度量网络对齐结果时应考虑其中不可绝对匹配的节点等价关系。然而,当前主流的网络对齐度量方法没有考虑这一问题,
新时代下的互联网高速发展,各种数据呈现爆炸式增长。其中新闻文本数据随着推送、流媒体平台、社交媒体的普及已广泛渗透进大众生活,人们迫切希望找到有效缓解信息过载问题的方法。近年来,深度学习的发展极大地推动了自动文本摘要技术的研究。但已有的方法仍存在一些不足,面向中文语料的新闻文本摘要算法没有充分利用中文分词特征,以及摘要算法的训练目标中欠缺对整体语义相关性的考量,导致摘要连贯性较差等问题,最终影响文本
实体关系抽取作为自然语言抽取领域的重要子任务,在知识图谱、搜索引擎以及智能问答等下游任务中发挥着重要的作用,根据命名实体识别和关系抽取两个子任务是否相互独立,分为流水线式抽取和联合式抽取两种方法。近年来基于预训练语言模型的联合式实体关系抽取方法取得了不错的研究进展,但仍然会出现实体重叠、关系重叠以及实体冗余等问题,同时在进行关系抽取时没有充分利用实体本身蕴含的重要信息。特别是中文实体关系抽取,由于
离散事件系统（DES）是由一系列状态和事件组成的动态数学模型。随着通信和传感技术的快速发展,现代工业系统规模越来越大,系统在运行时难免会出现故障。为保证系统可靠性,控制工程师应设计一个能在正常范围内安全运行的系统,并在系统故障发生前,尽可能预测出即将发生的故障,以采取相应措施,对故障进行规避。因此,对DES发生故障前的预测问题的研究具有重要价值。随着计算机领域的快速发展,计算机集群式的算力得到大幅