【摘 要】
：
神经动作选择是大脑的基本决策活动,基底神经节（Basal Ganglia,BG）对运动、认知和情感功能的协调至关重要.构建不同类型的基底神经节计算模型,并在这些模型上进行不同层次的分析是我们理解基底神经节回路功能的重要途径.神经计算框架下构建的生物物理回路计算模型能够抓住生物系统的本质特征,允许我们探究它们的生理过程和动力学行为.受功能原理约束的抽象模型能够帮助我们理解导致认知过程（如学习、行为选
论文部分内容阅读
神经动作选择是大脑的基本决策活动,基底神经节（Basal Ganglia,BG）对运动、认知和情感功能的协调至关重要.构建不同类型的基底神经节计算模型,并在这些模型上进行不同层次的分析是我们理解基底神经节回路功能的重要途径.神经计算框架下构建的生物物理回路计算模型能够抓住生物系统的本质特征,允许我们探究它们的生理过程和动力学行为.受功能原理约束的抽象模型能够帮助我们理解导致认知过程（如学习、行为选择、认知控制）的各种计算.本文主要通过构建基底神经节回路的不同类型计算模型,来探究基底神经节回路的性质及相关认知决策过程.具体工作如下:第一章介绍构建生物神经回路所需的研究基础及基底神经节回路功能建模中的三个经典计算模型.首先给出神经元的空间几何结构及其数学模型,离子通道及其数学模型,突触连接及其可塑性.神经元模型主要包括整合发放模型,Hodgkin-Huxley模型,Rall电缆模型和多房室模型.突触可塑性主要包括Hebb可塑性及峰时依赖可塑性.然后给出基底神经节的主要结构,并介绍基底神经节在认知决策功能中的三个经典计算模型:神经动作选择模型,强化学习模型,及Actor-Critic模型.第二章为强化学习概述和强化学习相关基础理论.首先介绍动态规划中的两个经典寻找最优策略的方法（值迭代和策略迭代）及其收敛性理论.然后介绍一个用于测量强化学习算法探索有效性的方法,即样本复杂度,并给出动态规划中最优动作值函数的样本复杂度的极大极小界.最后,介绍策略梯度方法及策略梯度理论.第三章基于中等多棘神经元在基底神经节中的核心作用,研究中等多棘神经元的几何形态变化对基底神经节回路信号调控功能的影响.首先建立一个基于生物解剖学实验的中等多棘神经元多房室模型,并分析树突棘移除的位置对中等多棘神经元胞体放电活动的影响.然后根据基底神经节相关回路的生物解剖结构,利用基于电导的神经元模型构建了皮层-基底神经节-丘脑-皮层环路的神经网络模型.基于该计算模型,探究树突棘的缺失和树突树的退化对基底神经节信号调控功能的影响.结果表明适当比例的树突棘丢失或树突树退化能够使得出现功能异常的基底神经节恢复正常信号调控功能.最后探究了皮层的放电活动对回路的调节作用.第四章主要构建了基于强化学习的神经决策模型,并利用此决策模型证明情景记忆的提取能够加快学习.首先基于基底神经节-前额皮层系统中的强化学习理论和人工智能中的强化学习算法,并利用循环神经网络构建了Actor-Critic强化学习计算模型.训练这个模型执行两个经典的认知决策任务:随机点运动辨别任务和基于值的经济选择任务.训练后的模型能够重现在行为动物大脑中记录的神经活动特征或者行为动物表现出的某些行为特性.在此模型上探究存储在海马体中情景记忆在决策过程中的作用.计算结果表明海马中的情景记忆能够加快学习,特别地,情景记忆中的显著性事件在记忆回放过程中可以被优先提取,以便让决策者更快地学习一个策略.
其他文献
乳酸菌是发酵食品中常用的发酵剂,近年来,消费者对新型功能性饮料的需求增加,利用乳酸菌制备发酵功能性饮料已成为研究热点。Schleiferilactobacillus harbinensis M1是本课题组前期从自然发酵的豆腐乳清（Natural fermented tofu whey,NFTW）中分离的1株乳酸菌,研究发现该菌株具有发酵豆乳并产生良好风味的性能。因此,本论文旨在对Schleifer
训练和管理，是军事实践的一体两面，既区分又交集，相互深刻影响。训练，在先秦主要对应教战，唐宋主要对应教习，明以后用语用义渐与今相似，人民解放军政治教育与古代练心概念相似、又与军事训练相对等而区分，总的看，训的范围逐渐内敛，越来越纯粹、专业。管理，在字词上主要对应古代管、理，本意是执掌制约、法的实现，在内涵上主要对应古代“以军法治之”，但古代兵刑同源、军法重刑，且以法辅礼制，法的涵义相对狭隘、单一，
氢是一种洁净、高效的能源载体,有望在未来清洁能源经济中扮演不可或缺的重要角色。但实现氢能的规模化应用面临着制氢、储氢、用氢等环节诸多严峻的科学/技术挑战,其中储氢环节因需同时满足多重苛刻技术指标而最具挑战性。近年来,化学储氢技术的兴起和快速发展为突破储氢“瓶颈”提供了契机。在已知的化学储氢材料中,水合肼（N2H4·H2O）因具有储氢密度高（8.0 wt%）、材料成本低、化学稳定性良好等优点以及分解
蒸发式冷凝器通过喷淋水在换热管表面蒸发的气化潜热带走冷凝热,其结合了风冷式和水冷式换热器的优点,具有高效的换热性能及紧凑的结构。传统的蒸发式冷凝器为水平横管布置,管内制冷剂冷凝时会在横管底部积存较厚的制冷剂液膜,而管外喷淋水也会在横管管外底部积留水膜,因此恶化了蒸发式冷凝器的换热能力。本文结合降膜流动过程的优良换热特性,设计了一种新型的竖管蒸发式冷凝器结构,制冷剂能在竖管内降膜冷凝而喷淋水在竖管外
质子交换膜燃料电池具有效率高、启动快、零排放等优点,被认为是一项十分有前景的绿色能源技术。当前,耐久性仍然制约着质子交换膜燃料电池的商业化发展。作为影响质子交换膜燃料电池耐久性的重要因素,水、热管理需要得到足够的关注和重视。针对质子交换膜燃料电池水、热管理问题,本文提出了基于均热板的热管理方法以及基于脉动流的水管理方法,并从理论分析、实验测试和数值模拟等方面探究了均热板和脉动流对质子交换膜燃料电池
永磁同步电机矢量控制驱动系统广泛应用于车辆、数控机床、机器人和水下航行器等重要机械装备。然而永磁同步电机扭转振动会损害装备运行的稳定性,增大振动噪声,影响装备的可靠性和使用寿命。抑制永磁同步电机转速谐波,减小扭转振动,对于重要制造业领域的发展有重要意义。所以本课题以永磁同步电机矢量控制驱动系统为对象,研究了电气相关谐波的闭环传递机理以及扭转振动控制方法,主要结论如下:（1）推导了永磁同步电机矢量控
蛋白质是食品中重要的营养与功能成分,对人体健康具有重要意义。摄食后,蛋白首先被胃蛋白酶分解,再进入小肠和血液循环,发挥供能和其他功能作用。然而食品基质的结构特性、组分以及胃蛋白酶在食品基质中的扩散行为都会影响蛋白基食品的胃消化特性。大豆蛋白是当今消费量最大的植物蛋白,其营养丰富、加工性能突出,被广泛应用于食品工业。但大豆中存在高活性的脂肪氧合酶（LOX）,在贮运过程中会不可避免地导致蛋白质氧化,引
化工园区内聚集着较多的石油化工企业,易燃、易爆、有毒危险物质种类繁多且数量巨大,在各类自然灾害影响下极易诱发一连串的次生衍生危险化学品泄漏、火灾、爆炸事故,对于这一类自然灾害诱发的技术灾害事件,国际上将其定义为Natech（Natural Hazard Triggering Technological Disasters）事件。自然灾害与其次生衍生的火灾爆炸事故会破坏园区内的危险设备单元,导致多米
随着车辆对功率密度和服役寿命等要求的提升,变速箱传动齿轮的大负荷运行使其极易产生磨损和疲劳损坏,严重降低了车辆运行的可靠性和稳定性。本论文针对高功率密度变速箱用新型传动齿轮材料17Cr2Ni2MoVNb钢,利用SEM、TEM和EBSD等测试分析方法对不同强化试样的微观组织结构表征,开展表面喷丸和超声滚压强化工艺参数对材料的显微硬度、表面形貌和粗糙度的影响研究,并优化表面强化工艺参数,提出表面喷丸-
目前,非点源污染已成为我国水环境的主要污染源,人类对水资源的过度开发和破坏导致流域非点源污染形势越来越严峻。另外,气候变暖显著改变了水循环的时空变化,导致极端降雨径流事件频发,进而驱动流域非点源污染发生变化。持续增长的污染物质随降雨径流迁移扩散,加剧河湖水库等水体水质的恶化,严重威胁人类用水安全及生态环境,甚至影响人与自然和谐发展。开展流域非点源污染模拟并深入探索气候变化对其的影响,具有紧迫的现实