深层结构中的属性自动开关

来源 :清华大学 | 被引量 : 0次 | 上传用户:zhangfalun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于深层结构具有对数据的良好表征能力,近年来它被广泛的应用于众多领域。属性是被用来描述数据的一种特殊数据类型,目前也被成功用于提升很多任务的性能。然而,将属性引入深层结构是复杂而且具有挑战的,因为深层结构中的不同层表征着不同抽象层次的特征,而属性本身天然地表征着数据的不同抽象层次。这样一来,就要求我们必须通过仔细考察属性和深层结构层次之间的关系将二者适应性的进行联合建模。以往的研究工作通常不考虑二者的抽象层次,只是将属性作为与原始数据特征一样的数据直接引入到深层结构中,与之不同的是,本文的工作通过考察二者抽象概念层次间的关系,合理地将属性连接到深层结构的对应层次上,从而能够更好的利用属性中蕴含的信息,具体工作如下:1.本文提出了一种能够将属性数据自动连接至深层网络中合适层次的基于能量的模型。该模型能够对属性数据和深层网络进行统一建模,并通过引入一个可学习的开关矩阵来控制属性数据连接至合适的网络层次。基于该基础模型,还提出了两种扩展模型,其中一种是将卷积操作直接综合到模型的能量函数中,另一种是将卷积神经网络中间层的输出作为该基础模型的输入,从而将两个模型堆叠起来得到新的模型。2.本文提出了一个两阶段不断迭代的学习算法。该算法不断迭代模型参数和开关矩阵的学习过程,最终达到收敛。3.在3个真实数据集上与6个基准方法在多个使用场景中的比较结果显示,本文提出的模型通过将属性数据连接至合适的网络层次,能够更好地将属性信息引入深层网络,从而更大程度上提升了模型的性能。特别地,该模型基于卷积神经网络的扩展模型在多个数据集上超越了卷积神经网络,而后者被公认为目前处理图像的最佳模型。借助于本文提出的模型与方法,属性数据能够更好地被用在深层网络中来进一步提高网络的性能,这样一来,在实际应用(如图像识别、语义识别等)中,可以通过标注属性数据达到更好的效果。
其他文献
目的本研究建立吗啡成瘾大鼠模型,以奖赏通路中伏隔核作为研究切入点,运用分子生物学和行为学方法,探讨大鼠伏隔核PKMζ在吗啡成瘾中的作用。以期进一步明确成瘾记忆的机制,
随着控制、网络及通信技术在复杂控制系统中的发展与相互融合,网络化控制系统(Networked Control Systems,NCS)在自动化领域的研究变得尤为重要。传统控制系统因为网络的加入,使系统的控制性能得到扩展和增强,与此同时也存在使控制系统不稳定的因素,例如:网络延时、数据丢包、网络调度的问题等。因此,对网络化控制系统的研究具有非常重要的现实意义。控制领域中,控制器的设计一直是控制系统线
在移动互联时代的大背景下,音频数据分享给人们带来方便的同时,也容易造成数字版权的篡改和盗用,从而数字水印技术应需而生。音频数字水印抗毁性的研究对于数据的安全至关重
金华火腿作为极具中国特色的干腌火腿,其以独特的品质在国内外久负盛名。风味是评价火腿品质及等级最重要的指标,这依赖于内源酶和微生物的作用。目前对火腿风味的研究仍较为局限,微生物对火腿风味形成的作用及其重要性并未深层次挖掘。此外,研究表明Autoinducer-2(AI-2)信号分子与食品的腐败和发酵过程有关,但目前关于AI-2与食品风味形成的研究相对较少,针对AI-2/LuxS群体感应系统(Quor
在科学技术飞速发展的21世纪,检测和分析手段的多元化让人们对自身以及环境有了越来越多的认识,也使得人们对自身和环境的重视程度越来越高。过去许多的检测手段和分析方法由
近年来,从多个数据源得到的多种形态的数据呈现指数级爆炸型增长,如何有效提取隐藏在繁杂数据表象下数据内在性质及规律是机器学习等领域研究的热点。多流形模型中观测数据位于或近似于多个嵌入在高维欧氏空间中的内在低维流形上这一假定符合聚类分析寻找观测数据多个互不相交分组的学习任务。而采用谱分析方法学习数据的流形结构是一种行之有效的方法。因此本文希望能通过学习数据的谱流形结构实现对其的聚类学习。本文主要工作包
多输入多输出(Multiple-Input Multiple-Output,MIMO)技术可以在不使用额外的传输能量和带宽的情况下成倍的提高信号传输速率。MIMO系统的检测技术通过算法抵消信道干扰和信道噪声从而在接收端接收准确的信号。MIMO系统的检测技术经过多年的研究,到目前为止大约分为最优检测算法和次优检测算法,次优检测算法中又分为线性检测算法和非线性检测算法。最优检测算法拥有最好的检测性能但
研究背景:伤害作为全球重要的公共卫生问题,也是导致儿童青少年受伤、残疾、死亡的重要原因之一,全世界范围内每年大约有95万名18岁以下的儿童青少年死于伤害。在中国,外来民工群体是特殊的弱势群体,其子女的伤害发生情况越来越受到社会各界的重视,据我国第六次人口普查结果显示,大陆地区移民人口家庭儿童总数达到3 581万。国内外研究显示,民工子弟学校学生的伤害频次高于本地学校学生,其伤害问题严峻。为此本研究
小麦醇溶蛋白因为其独特的自组装特性、成膜性、粘附性及生物兼容性,常被用于荷载一些生物活性分子。反溶剂沉淀法制备小麦醇溶蛋白纳米颗粒(Gliadin Nanoparticles,GNPs)具有简单、节能、快速等优点,但是制备出的纳米颗粒在人体温度下的稳定性较差,极大的限制了其应用前景。本研究尝试通过包被过氧化氢酶(Catalase,CAT)的方式来提高小麦醇溶蛋白纳米颗粒的稳定性,并且对获得的过氧化
我国《刑法》第25条规定:“共同犯罪是指二人以上共同故意犯罪。二人以上共同过失犯罪,不以共同犯罪论处;应当负刑事责任的,按照他们所犯的罪分别处罚。”刑法学界通说观点主张过失共同犯罪不成立共同犯罪,他们认为肯定过失共同犯罪会与现行刑法的规定相抵触。但是近年来司法实务中已渐渐出现肯定过失共同犯罪的判决,出现的法律规定与实务操作相矛盾的情形也是一直为学者们所诟病。此外,2000年出台的《最高人民法院关于