论文部分内容阅读
生物大脑的认知功能和信息处理机制的研究具有重要的科学意义和实用价值。近年来,受神经系统启发的深度学习方法在图像识别、语音识别、策略游戏等人工智能应用上取得了巨大的成功。但相比之下,人们对大脑实现这些认知功能的机制理解仍非常有限。而深度学习模型在工作机制上与生物神经系统也存在巨大的差异。与之相反,脉冲神经网络是更加符合生物电生理机制的神经网络模型,一直是神经科学领域建模的重要工具,在发展强人工智能系统方面也更具潜力。但是,由于脉冲神经网络的复杂性,一直缺少令人满意的方法实现复杂认知功能的模拟。这导致很难在介观层面建模和研究大脑功能机制,也导致宏观层面的理论很难联系到微观的生物细节。因此,本文基于脉冲神经网络模型,提出了通过放电时刻学习算法模拟大脑认知功能,并通过改变训练网络的生理约束和网络结构分析脑功能机制的研究思路。
首先,网络结构和集群活动是脑功能的基本载体,而神经元的放电动力学活动是进行信息处理的基本单元。本文提出了可以进行训练并能精确模拟神经动力学特性的单神经元模型,并对神经网络动态活动建模进行了研究。基于积分放电类(LIF)神经元模型提出了扩展的广义积分放电(GLIF)模型,用以准确模拟生物神经元多时标的、非线性的脉冲放电过程。通过构建基本的神经网络结构,分析了关键的结构特性对神经集群的振荡、相关性、规则性等活动特性的影响规律,并验证了通过时间编码传递信息的可行性。神经元及网络动力学的研究为进一步构建具有实际功能的神经网络提供了理论基础。
其次,提出了改进的放电时刻的误差反传算法,实现了在复杂网络结构和动力学状态下脉冲神经网络的稳定学习。推导了提出的三类广义积分放电模型的神经网络梯度反传算法,保证算法在任意放电形式和网络结构下的有效性。分析了SpikeProp类学习算法学习效率低和训练不稳定问题的主要原因。并基于分析结果和生理理论依据,提出了梯度动态阈值方法以及放电率和突触权值等的调制方法。基于学习算法,提出了通过认知任务的训练进行神经网络功能的建模和机制分析的研究框架。
最后,基于提出的研究框架,实现了同步、连续放电等不同网络动态和视觉、运动等功能的建模和机制分析,验证了算法的灵活性和有效性。本文将提出的网络模型和学习算法应用于不同的认知任务的学习中,并基于训练得到的网络分析了神经网络实现这些功能的机制。通过构建不同的神经网络结构、采用不同的网络活动状态和损失函数,本文分别训练实现了图像识别任务、运动规划任务以及反馈运动控制任务。在图像识别任务中,分别采用全连接前馈网络以及具有局部结构的前馈网络学习了MNIST手写集和Caltech数据集的图像识别,并进一步分析了多种生理机制和网络结构特性对学习过程及网络信息处理机制的影响。在运动控制任务中,本文基于多时标的GLIF神经元模型和放电时刻编码的学习算法,实现了通过神经网络连续放电活动进行运动控制的功能的学习。运动规划任务实现了将同步放电编码的运动指令转化为连续脉冲序列表征的运动轨迹,证明同步放电编码的信息可以快速转换成连续脉冲序列表征的信息。进一步,采用了有监督学习和增强学习的方法实现了基于时间编码的反馈运动控制。分析了神经网络实现反馈运动控制的网络结构和动力学机制,同时讨论了实际应用中非常重要的力输出优化以及对被控对象参数变化的鲁棒性等问题。
上述应用研究展示了脉冲神经网络学习算法与多种网络结构、动态及生理特性的兼容性。后续研究可以加入更多的生理机制,从而探索更复杂和更真实的大脑认知功能和机制的模拟。同时,这些应用研究也向机器学习体系加入了更多的仿生机制和生物信息处理原则,拓宽了人工智能领域的理论框架。本文的研究思路既为神经科学理论研究提供了有效的功能建模工具,又为发展强人工智能系统提供了新的模型框架。
首先,网络结构和集群活动是脑功能的基本载体,而神经元的放电动力学活动是进行信息处理的基本单元。本文提出了可以进行训练并能精确模拟神经动力学特性的单神经元模型,并对神经网络动态活动建模进行了研究。基于积分放电类(LIF)神经元模型提出了扩展的广义积分放电(GLIF)模型,用以准确模拟生物神经元多时标的、非线性的脉冲放电过程。通过构建基本的神经网络结构,分析了关键的结构特性对神经集群的振荡、相关性、规则性等活动特性的影响规律,并验证了通过时间编码传递信息的可行性。神经元及网络动力学的研究为进一步构建具有实际功能的神经网络提供了理论基础。
其次,提出了改进的放电时刻的误差反传算法,实现了在复杂网络结构和动力学状态下脉冲神经网络的稳定学习。推导了提出的三类广义积分放电模型的神经网络梯度反传算法,保证算法在任意放电形式和网络结构下的有效性。分析了SpikeProp类学习算法学习效率低和训练不稳定问题的主要原因。并基于分析结果和生理理论依据,提出了梯度动态阈值方法以及放电率和突触权值等的调制方法。基于学习算法,提出了通过认知任务的训练进行神经网络功能的建模和机制分析的研究框架。
最后,基于提出的研究框架,实现了同步、连续放电等不同网络动态和视觉、运动等功能的建模和机制分析,验证了算法的灵活性和有效性。本文将提出的网络模型和学习算法应用于不同的认知任务的学习中,并基于训练得到的网络分析了神经网络实现这些功能的机制。通过构建不同的神经网络结构、采用不同的网络活动状态和损失函数,本文分别训练实现了图像识别任务、运动规划任务以及反馈运动控制任务。在图像识别任务中,分别采用全连接前馈网络以及具有局部结构的前馈网络学习了MNIST手写集和Caltech数据集的图像识别,并进一步分析了多种生理机制和网络结构特性对学习过程及网络信息处理机制的影响。在运动控制任务中,本文基于多时标的GLIF神经元模型和放电时刻编码的学习算法,实现了通过神经网络连续放电活动进行运动控制的功能的学习。运动规划任务实现了将同步放电编码的运动指令转化为连续脉冲序列表征的运动轨迹,证明同步放电编码的信息可以快速转换成连续脉冲序列表征的信息。进一步,采用了有监督学习和增强学习的方法实现了基于时间编码的反馈运动控制。分析了神经网络实现反馈运动控制的网络结构和动力学机制,同时讨论了实际应用中非常重要的力输出优化以及对被控对象参数变化的鲁棒性等问题。
上述应用研究展示了脉冲神经网络学习算法与多种网络结构、动态及生理特性的兼容性。后续研究可以加入更多的生理机制,从而探索更复杂和更真实的大脑认知功能和机制的模拟。同时,这些应用研究也向机器学习体系加入了更多的仿生机制和生物信息处理原则,拓宽了人工智能领域的理论框架。本文的研究思路既为神经科学理论研究提供了有效的功能建模工具,又为发展强人工智能系统提供了新的模型框架。