基于自组织映射和正则化的卷积神经网络语义排列的研究

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:listen342325
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
卷积神经网络是目前人工智能领域研究的重点和热点,关于它的研究主要集中在如何实现诸如分类、检测等任务的良好性能。相比之下,卷积神经网络中神经元的语义排列方式在很大程度上被当前研究忽视,因为它不能明显提升这些任务的精度。受到视觉皮层神经元的柱状组织和心理学中语义网络模型的启发,本文基于图像识别任务,将神经元之间的语义排列方式融入到卷积神经网络中。简单来说,在卷积神经网络中,对语义相关或相近的输入响应强烈的神经元在网络空间中的分布位置也应该相近。在实际应用中,这种语义排列方式能够节省概念存储空间和加快概念检索速度。为了实现卷积神经网络中神经元的语义排列,本文提出了基于自组织映射算法和正则化的两种不同方法。需要指出的是,本文是深度学习领域首次研究神经元之间的语义排列。具体工作如下:第一,对于图像识别任务,网络输出层的神经元与数据集类别一一对应,但是,人工标注并没有给出类别间语义相似的信息,自然无法衡量神经元之间语义排列的程度。因此,本文提出将卷积层和全连接层中相邻核之间权值分布的相似程度,作为衡量卷积神经网络中神经元之间语义排列的指标。为了让相邻核具有相似的权值分布,本文首先提出基于正则化的方法,在交叉熵损失的基础上增加正则化项,实现卷积神经网络的语义排列特性。第二,本文注意到无监督的自组织映射算法能保证目标空间中相邻的神经元具有类似的权向量。因此,在第二种方法中,本文提出基于自组织映射的方法,使卷积神经网络中相邻的核具有相似的权值分布。然而,传统的自组织映射算法是被用于两层的全连接神经网络,所以在卷积神经网络中使用自组织映射算法就必须要做出相应修改,最大的修改是与卷积操作相关。第三,由于目前的研究缺乏对卷积神经网络中神经元之间语义排列的评价标准,因此,本文提出三种不同标准来评价具有该语义排列特性的卷积神经网络:1)计算相邻核的权值分布的相似程度;2)计算网络输出层中类别之间的语义距离,并与WordNet网络中类别之间的语义距离作比较;3)测量网络通过激活扩散方式的预测速度。本文的实验结果表明,通过与传统的卷积神经网络比较发现,采用本文方法得到的卷积神经网络具有更好的语义排列特性,卷积层和全连接层内相邻的核具有相似的权值分布,输出层的类别分布更接近WordNet中类别的语义分布。
其他文献
近些年,低维结构光电转换器件如纳米线电池及二维材料器件因其独特的光电等性质而备受关注,有望在新一代柔性化、微纳化及可穿戴化光电器件中发挥重要作用。然而当前还存在着
馈赠交换作为一种社会现象,普遍存在于人类社会之中。然而,在不同的文化母体中显现的馈赠情景也不相同,同时,馈赠交换呈现出文化行为与经济行为两大特征。通过解读和分析馈赠
在最不发达经济体中,能源的重要性不可忽视。因为自从过去几十年以来,大多数这些不发达国家都面临严重的能源危机,导致其产生许多社会经济问题。在所有这些国家中,巴基斯坦就
在数学中,神经网络的学习能力可以看作是一个函数逼近问题。基于这一观点,我们可以将深度神经网络视为一个函数逼近器。在实际应用中,有许多深层网络模型基于概率生成模型进行分析,并将神经网络的学习能力看作是一个概率分布逼近问题,即深度神经网络的输出可以近似于某个随机变量的概率分布。本论文从神经网络的理论研究出发,以现有的理论、方法为基础,对受限玻尔兹曼机(RBM)和深度玻尔兹曼机(DBM)的逼近性进行了分
心率是一项极为重要的生理参数,被广泛应用于心率失常、心肌缺血、冠心病、高血压病、慢性心力衰竭等心血管类疾病的诊断和情绪检测中。目前市场上存在的专业心率检测设备都
背景和目的:异常脂质介导的肝内炎症-免疫调节紊乱相关的低度系统性炎性信号途径活化在非酒精性脂肪性肝病(NAFLD)的发生发展中占有重要地位。作为肝内代谢-免疫-炎症活化过
对比剂也被称为造影剂,是影像诊断与介入放射学必要的药物之一。在药物归类统计中虽属于小品种,但是近几年对比剂的市场份额在我国医药行业中属于增长较快的产品。作为最早进入中国对比剂市场的外资企业B公司,是全球对比剂的领导者,其在中国区对比剂的市场份额在近几年受到国产仿制药的冲击一直处于不断下滑的态势。产品需求预测的效果一直以来都不佳。由于在销售管理工作中缺乏定量的预测模型来进行需求预测,仅使用定性的预测
气体是人类生存发展必不可少的自然资源。随着社会与经济的发展,人们生活水平的提升,在商业、工业以及生活中需要更加清洁的能源气分,同时,有些气体组分又是一些重要的化学及
视频事件识别是指从视频中识别出事件的时空视觉模式,在智能监控、医疗看护、机器人视觉等诸多领域有着重要的应用前景,是计算机视觉领域的一个热点研究课题。视频数据具有数
随着世界人权保护事业的发展,国际上保护妇女儿童权利的呼声越来越高。多年以来,各个国家与国际组织共同努力消除对妇女儿童的年龄、性别歧视和权利侵犯来提升妇女儿童的社会