与现有机器强化学习相比,动物能够利用小样本实现高效学习且在动态环境中自适应切换行为策略,进而面对复杂环境做出最优抉择。动物学习与行为抉择的脑机制研究对于发展更加高效的强化学习和智能决策理论具有重要启发和借鉴作用。从本质上讲,动物以价值回报作为学习的动力,但目前动物学习进程中大脑如何编码价值、动态调整价值,以及高效利用价值形成决策的相关机制尚不清晰。因此,深入研究动物学习进程中价值分布的演化规律,解析其动态抉择机制,并在此基础上建立更加高效的类脑强化学习算法和决策模型,具有重要科学研究意义和广阔实际应用价值。为此本文选用认知学习研究的典型动物——鸽子作为模式动物,通过脑结构解剖技术准确定位价值编码的关键脑区纹状体（Striatum,ST）和行为决策编码的关键脑区弓状皮质尾外侧区（Nidopallium Caudolaterale,NCL）,将动物行为学方法与多通道神经电信号分析相结合,深入解析鸽子学习进程中的价值分布演化规律与抉择机制。主要工作:首先,设计了反映鸽子动态学习过程的价值学习及反转学习实验范式,采用多通道局部场电位信号构建功能连接网络,提取其聚类系数作为表征价值的神经编码特征,分析了学习进程中ST脑区价值分布及其演化规律;然后,设计了反映鸽子利用价值形成决策的多价值比较抉择实验范式,解析了鸽子动态决策过程中的NCL脑区神经编码特征分布变化与抉择行为的相互关系;在鸽子价值学习与行为抉择脑机制启发下,提出了一种基于价值分布增量学习算法的动态决策方法,并用强化学习中典型案例多臂Bandit问题验证了该方法在解决非平稳高斯回报问题上的优势;最后,用上述动态决策方法建立了一种基于价值分布表征的双误差调制强化学习决策模型,在解决强化学习经典问题上显示了该模型的优越性。主要创新性成果如下:1、揭示了鸽子学习进程中ST脑区价值分布的演化规律,发现了多价值比较抉择时NCL脑区神经编码特征分布变化有效反映了鸽子抉择行为的变化。对于价值学习,ST脑区价值分布均值会随着样本回报值的大小变化向表征价值高低的特定方向迁移,同时分布的方差变小,并且存在从“学”到“习”阶段的跃变现象。当环境回报统计特性发生反转后,则会出现价值编码反转迁移现象;在多价值比较抉择过程中,发现NCL脑区不同行为的价值分布间距变化程度可以反映鸽子抉择行为在价值探索与价值利用之间动态切换的机制,即当不同行为的价值分布重叠较大时抉择行为具有随机性,当不同行为的价值分布显著可分时抉择行为明显倾向于选择高价值的行为。2、提出了一种新的基于变分推断期望最大化的价值分布增量学习算法（Distributional Value Increment Learning based on Variance Inference Expectation Maximum,DVIL＿VIEM）。借鉴鸽子学习进程中的价值分布演化规律,本文依据新样本增量学习的方式,自适应迭代更新价值分布的均值、认知方差和环境回报方差,首次利用价值分布变化建立学习停止与重启的规则,实现了价值分布估计的高效习得和回报突变时的自适应重启学习。3、提出了一种价值分布增量学习和间距门控相结合的动态决策新方法（Dynimal Decision based on Distributional Representation of Values,DDDRVs）。受鸽子动态决策脑机制启发,本文基于贝叶斯推断框架,利用价值分布增量学习算法（DVIL＿VIEM）来更新选中行为的价值分布,当不同行为的价值分布间距大于一定门控阈值时,动态切换汤普森采样策略为贪婪策略,以加速最优行为策略的形成,为解决强化学习有限采样条件下价值探索与利用的平衡问题提供了更高效解决途径。4、构建了一种新的基于价值分布的双误差调制强化学习决策模型（Dual Error Modulated Actor-Critic Model,DEMAC）。借鉴鸽子价值编码与决策脑区分工协作机制,对行动者与评价者之间信息交互形式和优化目标进行了改进,根据行为预测误差和价值预测误差协同更新价值分布和策略分布,在价值和策略分布的学习进程中均嵌入了“学”、“习”阶段动态检测机制,有效提升了最优策略学习的收敛速度与自适应性。