【摘 要】
:
传统人工神经网络,尤其是深度学习(Deep Learning,DL)所代表的人工神经网络(Artifitial Neural Networks,ANN)在进行模式识别任务时,强调通过定义损失函数,并通过数据的不断迭代训
论文部分内容阅读
传统人工神经网络,尤其是深度学习(Deep Learning,DL)所代表的人工神经网络(Artifitial Neural Networks,ANN)在进行模式识别任务时,强调通过定义损失函数,并通过数据的不断迭代训练,对神经元间的连接权重进行调整,从而完成学习任务。然而,人类并不是采用这种方式习得知识的,从生物学上来讲,传统人工神经网络所考虑的机理过于简单,并不能解释人类需要小样本的训练即可习得新知识的现象。本文着眼于具有生物学可解释性的神经元模型进行文本表征、并通过构建类脑皮层神经计算模型,进行文本生成、自动问答等小样本学习任务。 首先,本文基于脉冲神经网络,将脉冲发放时间作为模式表示的特征,提出了基于齐次Poisson过程的神经编码方法、基于LIF神经元模型的二值词表征转化方法、基于Izhikevich神经元模型的二值词表征转化方法等多种类脑无监督表示学习方法,将原始稠密的词向量转化为对大脑皮层友好的二值词表征。基于GloVe及Word2Vec两个不同源的词向量在五个数据集上进行试验,结果表明,所提出的二值词表征方法不仅在可解释性上胜于传统方法,还在语义相似性、文本分类等相关测试中超越传统方法。 其次,本文提出基于语义化层次时序记忆模型的小样本学习模型。该工作结合受大脑皮层相关中神经元、远端突触、细胞柱及时序计算机制的启发的层次时序记忆模型,建立神经计算模型,在完善原始模式表征方式的同时,结合脉冲神经网络所转化的二值词表征,进行小样本学习任务,并在文本生成、自动问答等任务的三个数据集上取得了较传统模型LSTM模型更好的效果。
其他文献
道路交通信息采集在智能交通系统中,担负着提供准确可靠的信息源以使整个智能交通系统得以顺利准确运行的重任。毫米波雷达交通检测系统作为获取路面信息的一种方式,因其特有
钢筋笼作为桩基的重要组成部分,对于桩基的抗拉、抗拔和承载力具有至关重要的作用,但是桩基础一般位于地下或者水下,容易导致个别施工单位为追求更多的非法利益而降低质量要求,从
温度是实际生产过程中常见的被控量,温控系统具有大范围工况、非线性和大惯性特性,采用单一模型无法准确描述模型特征,影响控制精度:采用单一控制策略无法满足整个工艺控制要
目标检测与识别是计算机视觉、人工智能等领域的研究热点,在工业、军事、医疗、安防监控等领域得到广泛应用。然而,随着实际应用的不断增加,人们对目标检测与识别系统的实时性要
视觉是人类感知外部世界最重要的途径,人类生活各个层级的需求都要依赖视觉感知来提供服务。长期以来,计算机视觉领域的研究人员都试图复现甚至超越人类视觉系统,而视觉识别是其
森林火灾是严重的世界性自然灾害,越来越受到各国的重视。由于森林火灾具有传播速度快、灭火和营救都比较困难的特点,所以如何有效的进行森林火灾的安全防范以及尽早发现火灾
随着我国天然气长输管道事业的发展,由于具有结构简单紧凑、单机功率大、建设周期短、易实现自动控制等优点,燃气轮机-压缩机组得到了日益广泛的应用。因此建立燃气轮机-压缩
随着工业信息化技术与网络通信和控制技术的发展,工业以太网技术成为工业自动化行业中的研究热点。国际上推出很多关于工业以太网的协议标准,如FF-HSE,PROFINET等。其中,EPA(
集成起动发电系统(ISG)是将传统汽车中的起动机和发电机二者合而为一,该系统使汽车节油、减排、发动机控制及能源管理等方面都有本质的提升,是国际公认未来汽车部件的必然发
基于图像的三维重建是计算机视觉领域中一个重要的研究主题,分层三维重建是三维重建中的一种重要的方法。分层三维重建首先从图像匹配点得到射影重建,然后由射影重建提升为仿射