论文部分内容阅读
近年来,人工神经网络在深度学习的推进下得到了快速发展,在许多领域都获得了优异的性能。然而,传统的神经网络仍然面临着许多问题,如泛化性差、复杂度高、自适应能力弱等。生物智能,尤其是生物的视知觉在进化过程中逐渐形成了一个精密、高效的系统。研究、建立生物视觉的计算理论和模型是突破传统人工神经网络瓶颈的一条捷径,具有重要的学术意义和应用价值。虽然生物视觉系统的研究已较深入,但在借鉴其机制建立类脑神经网络时还有一些未解决的难题,例如同构的多模块设计和协同问题、突触连接的构建问题、神经元的定义问题和网络的自学习问题等。此外,目前的类脑智能研究较多的是单方面借鉴脑科学的结论和方法,通过类脑计算模型来研究大脑进化的文献则较少。因此,本文借鉴生物视觉系统的若干机制,分别针对生物视觉的早期系统、枕叶皮层(中级视觉系统)和颞下皮层(高级视觉皮层)进行数学建模,并将它们进行级联组成完整模拟生物视觉通路的类脑神经网络,并通过它从进化角度来探索和解释大脑组织结构形成的若干原则。 本文主要工作和贡献如下: 1.本文提出了一个层次化计算模型来模拟生物早期视觉系统。本模型在以下方面与生物机制一致:四层前馈网络结构与物体→感光细胞→RGC→V1区的生物早期视觉通路相一致;本模型包含了层间连接,也考虑了RGC之间和V1区神经元之间的层内连接;本模型以自然图像为输入的无监督方式训练,与生物早期视觉系统的形成方式相一致。本文设计了两个有约束优化问题来求解此模型的连接权重矩阵,并提出了对应的求解方法和其收敛性、复杂度分析。此外,我们还提出了有效编码是大脑组织结构形成原因的假说,实验结果不仅证实了本模型的有效性,也表明多层结构可以兼顾表征信号和节约能量,是进化过程中自然选择的结果; 2.本文提出了一个结构稀疏自动编码机来模拟枕叶皮层V1→V2→V4区的视觉信息处理通路。本模型重点关注于模拟枕叶各脑区的可塑性和自适应能力,并通过l0范数准确地衡量各脑区的神经元数量。我们还引入了一种双向自适应的迭代算法来直接求解l2,0范数,并分析了它的收敛性、有效性和复杂度。实验结果不仅证实了本模型的有效性及与枕叶各脑区的一致性,而且通过平衡表征精度和神经元数量,说明了各脑区的功能与它的神经元数量是相关的,也是大脑适应环境的自然结果; 3.本文提出了一个协同计算模型来模拟生物视觉的高级视觉皮层IT区以及相关的记忆区。本模型关注于IT区与记忆区的协同以及IT区的神经元集群响应等机制,模拟了IT区快速、不变性识别和增量式自学习的行为功能,提出了基于签名的快速比对、基于动态模板反馈匹配的不变性识别和增量式自学习算法。通过图像的定量和增量式识别实验,我们验证了本模型可以不变地识别旋转、平移和缩放等信号,同时具有较强的增量式自学习能力。此外,我们还说明了本模型在表征相异度响应方面与生物的IT区也是一致的; 4.通过将上述三个子网络分别作为低层、中层和高层模型进行级联,我们提出了一个较完整地模拟生物视觉信息处理通路的类脑神经网络,并将其用于图像的增量式识别,模拟了生物在动态环境下的视觉感知过程。