【摘 要】
:
现实世界中的计算系统经常遇到连续信息流的运算,这种情况要求模型能够随着时间的流逝而适应和学习。传统的机器学习方法所构建的静态模型,无法随时间推移来改变或扩展其行为,而终身学习试图通过让模型保留已经获得的知识,并将其用于将来的学习,使模型的学习过程更接近于人类的学习方式。如何保留和利用过去的知识是终身学习的重要难点,具体而言,终身学习需要解决灾难性遗忘问题,即避免模型在新任务训练期间几乎完全失去先前
论文部分内容阅读
现实世界中的计算系统经常遇到连续信息流的运算,这种情况要求模型能够随着时间的流逝而适应和学习。传统的机器学习方法所构建的静态模型,无法随时间推移来改变或扩展其行为,而终身学习试图通过让模型保留已经获得的知识,并将其用于将来的学习,使模型的学习过程更接近于人类的学习方式。如何保留和利用过去的知识是终身学习的重要难点,具体而言,终身学习需要解决灾难性遗忘问题,即避免模型在新任务训练期间几乎完全失去先前任务的知识。基于生成模型的数据重现是解决这一问题的主要方法之一,该方法利用生成模型生成代表旧任务的伪数据,并将其与新任务数据混合用于训练模型。本文工作主要改进分类任务下这一方法中的模型训练效果,具体内容如下:(1)本文工作提出正交风格损失作为生成模型训练过程中的正则项,提高了模型的学习能力。如何充分利用旧模型所学到的旧任务数据中的知识是提高模型训练效果的关键问题之一,这个问题分为两个难点:如何表达旧模型学到的知识以及如何将其用于新生成模型的训练。本文工作提出的方法通过将旧模型在数据上提取的特征作为知识的表达来解决第一个难点,再将其用于构造新生成模型训练过程中的正则项来解决第二个难点。正交风格损失即为该正则项,其体现了新旧生成模型生成的不同旧任务伪数据经过同一个旧模型所提取出来的抽象特征的差异,而最小化这个差异可以使新生成模型更快学习旧任务知识。(2)本文工作利用新旧分类模型之间的知识蒸馏让新模型更高效的学习旧任务数据中的类别分布,提高了分类模型的训练效果。如何将分类模型所学到的旧任务数据类别分布应用到新分类模型的训练中是提高模型训练效果的另一关键问题。针对此问题,本文将知识蒸馏方法应用于新模型在旧任务伪数据中的训练,从而让新模型更快速得掌握旧任务数据的类别分布。(3)本文工作将条件生成对抗网络的一种变体(ACGAN)应用到模型的结构设计上,解决了模型训练中数据类别不平衡的问题并减少了模型参数。在基于生成模型的传统方法中,无法指定模型生成的数据类别,由此导致数据类别不平衡问题。本文工作将模型扩展为ACGAN。一方面,ACGAN的训练方法为模型提供了类别标签来生成对应类别的样本,即拥有传统的条件生成模型的优点从而有效解决了类别不平衡问题;另一方面,本文工作充分利用分类模型,将其作为ACGAN训练生成模型所需要的辅助分类器,减少了模型参数量。(4)本文工作完成了上述各模型的实验,证实了各模型的有效性。
其他文献
传动燃油汽车的劣势近年来突显的愈加明显,电动汽车的优势开始逐步显现,市场对新能源市场的投资也逐步加大,但电动汽车相比于传统汽车仍然存在有待提高的领域。以电为动力为电动汽车的控制带来了很多优势,比如能耗优化控制、换挡控制、电机转矩控制等。这为电动汽车奠定了新的发展方向。本文的研究对象为一款装备有离合器与四挡变速器的双电机(Dual-Motor,DM)纯电动汽车(Electric vehicle,EV
金属橡胶作为一种弹性多孔阻尼材料,因其空间金属丝相互勾连的独特结构而具有类似橡胶制品的高阻尼性能,在高温、低温及腐蚀等复杂环境中具有较强的适应性。金属橡胶与致密金属构成的夹层结构,既具有多孔材料的轻质、高阻尼减振和高能量吸收等特性,也兼具致密金属的高强度、性能连续和受力均匀的优良性能。但金属橡胶夹芯结构连接工艺和界面性能的研究不明确,严重阻碍了金属橡胶夹芯结构的实际应用。据此,本文根据金属橡胶材料
航空飞行器在工作时除了机身会受到雷击以及各种外力之外,飞行器内部的机载设备和机身系统常常受到高温高压、电磁干扰、振动与冲击等外部环境因素的影响,从而导致事故频频发生。由此可见,飞行器的材料和结构需要一定的减振及导电能力,而许多复合材料或各类夹层结构并不具备这些特性。据此,本文设计了一种具有双螺旋结构的铜-钢丝复合金属橡胶。它既具备类似橡胶的高阻尼、高弹性,又保留了金属优异的导电特性,能在一定程度上
路径规划作为汽车自动驾驶的核心技术之一,其接收感知层的信息,规划出安全、平滑的可行路径,发送到追踪控制模块,是避免无人驾驶汽车与周围环境的参与者发生碰撞,实现车辆安全行驶的重要保障。为实现在限定区域典型场景下车辆的自动驾驶,本文对局部路径规划的实时性、安全性以及曲率的平滑性等问题进行研究,主要内容包括:1.针对非结构化道路场景,提出一种改进混合A*局部路径规划算法。为了提高算法的实时性,使用长短运
近年来,非光滑动力系统广泛应用于机械工程、航空航天、土木工程、交通能源等工程领域,因此非光滑动力系统成为了力学、工程学等学科的研究热点.而Filippov系统是一类特殊的Liénard系统,与光滑系统相比能够出现更复杂的动力学行为.因此本文将对一类具有对称性的Filippov系统进行全局动力学研究.1.对于多项式Filippov系统x+(α+βx2)x+ηx+θsgn(x)=0,将其转化为平面系统
燃料电池汽车(Fuel Cell Hybrid Vehicle,FCHV)凭借环保、高效、低噪声等特点,得到国家的大力支持和推广。但FCHV应用于城市公交时面临着客流量多变、交通拥堵、频繁启停等复杂工况,导致其经济性和耐久性较差。因此,本文通过解析工况特征,分析工况聚类方法,结合强化学习的寻优能力,提出可在线应用于燃料电池公交客车的融合工况特征的强化学习能量管理策略(Energy Manageme
随着智能车的快速发展,无人驾驶技术可以有效提高道路行驶的安全性及城市通行效率,同时也能降低驾驶者的门槛。路径规划在无人驾驶技术中占据重要位置,本文针对具有较多随机障碍物的复杂环境,对快速搜索随机树(RRT)路径规划算法进行改进研究;引入节点视野同心圆,结合无人车运动约束,提出逆向连接简化法,并建立dubins曲线类型选择策略,不仅改善了无人车行驶路径的质量,还提高其路径规划的效率。本文主要研究内容
智能汽车作为未来汽车发展的主要趋势,已经成为了各大高校和企业的研究重点。针对车辆在行驶过程中因速度和自身参数变化所造成控制器性能下降的问题,如何设计一种对速度和车辆参数具有较强适应性的转向控制策略成为一个新的研究课题。本文首先分别对基于现代控制方法和智能控制方法的转向策略进行了研究,在此基础上融合两者优点,制定了一种基于预测补偿的智能汽车速度和参数自适转向控制策略。针对模型预测控制算法(Model
2012年,Gǎvruta在研究有界线性算子的原子分解时引入了K-框架,它可以重构有界线性算子K值域R(K)中的元素,而非整个空间中的元素.根据已得到的K-框架的相关研究成果,可以得出框架的一些结论对于K-框架而言未必成立.比如Gǎvruta证明了序列{fn}n=1∞为H的K-框架当且仅当{fn} n=1∞为H的Bessel序列且其合成算子T满足R(K)(?)R(T),而序列{fn} n=1∞为H
液滴撞击固体表面的现象不仅在自然界普遍存在,在工农业生产中也有着十分广泛的应用。随着对液滴调控需求的不断增加,液滴撞击固体表面的动力学特性作为液滴调控的基础,有待完善。由于工业生产向微纳领域发展,对液滴的研究逐渐进入微纳米尺度。目前的研究主要集中在单个纳米液滴撞击光滑固体表面,而较少涉及纳米液滴撞击粗糙固体表面以及双液滴撞击固体表面的动态行为。本文采用分子动力学(MD)模拟的方法,从原子尺度探究纳