论文部分内容阅读
摘 要：前额叶皮层（PFC）服务于决策和执行控制。本文旨在要统一两种概念上的PFC功能。作者认为PFC包含了两个仲裁系统：第一，边缘系统，包括前运动/尾部的PFC区域和眶额区域，分别涉及到建立在感知线索之上的行为选择和奖励价值的选择，以及卷入到面对外部意外情况时的行为集直到确定是可靠的；（2）核心系统，包含腹正中的、背内侧、侧前极的PFC区域，涉及变化的和开放的环境中的高级的概率推理，审视仲裁选择利用/调整之前习得的行为集还是探索/创造新的更加有效的适应行为。
关键词：决策；执行控制；前额叶
有证据证明引导行为选择的期望奖励的计算主要涉及腹正中的PFC（ventromedial PFC ，vmPFC）。尤其是其腹部的部分，可以将独立的主观奖励按照一定比例转化为“通用货币”以用来比较价值，进而引导决策。奖励价值通常与行动的结果有关。vmPFC涉及到预测行动结果暗示vmPFC编码了行动与结果之间的联结并通过奖励的价值来选择行动。根据知觉线索选择行动则涉及外侧前运动区皮质。然而，当预期的奖励和知觉线索并不指向特定的行为时，会在更加抽象的行动集中做选择，可能之后根据刺激引导具体的行为选择。在这样的情境下，基于奖励的选择和基于线索的选择都涉及到了外侧前额叶皮层（IPFC），这是关乎认知控制的脑区，即，关乎行动集的形成和选择。重要的是，即使当其构造并没有表现出即时的行为的优势，但是抽象行为集也会自发的发展控制行为的选择。[1]
抽象行动集包括了多个刺激-行动和刺激-行动-结果的联结。计算模型认为刺激-行动和刺激-行动-结果的联结是习得的并且分别通过强化和统计学习来不断调整，抽象行动集是通过概率集的过程形成的。当相似的外部环境长存时，这些激活的灵活的表征一起驱动行为的选择，组成一个一致的行为策略，也叫任务集。
任务集是有效适应行为的关键的执行单元。这些任务集是以外部情境的心理例证的形式进行储存的，情境再次出现时可以加以利用这些任务集。这些适应的能力要求持续不断的在利用/调整之前已经学会的任务集和探索/创造新的任务集中进行选择。PFC不断为这种情况作出决断。包括了包含腹正中的、背内侧、外侧和两级的PFC执行系统是面对这种问题可以实施的一种近乎算法的解决方法。该方法假定执行系统推断驱动行为的当前任务集是绝对可靠的：基于当前外界的证据测定概率量，该任务集也可以用于情境不变的情况下（外界环境的范围潜在意义上是无限的），这个绝对可靠的概念概括了开放式环境中的期望/非期望的不确定性。[2]
vmPFC很可能编码了行动者任务集的前向模型。fRMI研究进一步发现在倒序学习任务中，vmPFC的激活随着目前情境保持不变（根据现实的行动结果判断，结果不变意味着情境不变）的可能性而变化。vmPFC涉及根据预期的和实际的行为结果之间的一致性来推断行动者任务集的可靠性。vmPFC 的激活可以用来预测个体在简单的基于奖励的选择任务中的信心。
当行动者的任务集从可靠向不可靠转变时，当前的外界情境很可能是改变了。主体将会改变之前利用/调整当前的行动集转向形成新的建立在长时记忆中收集的任务集基础之上的行动集。背内侧PFC （dmPFC）包含背部前扣带回皮层（dACC）和辅助运动区（pre-SMA），主要负责反应算法的转换。这种离散的，非参数的转换包含了抑制当前的行动者任务集而去创造新的指导行为的任务集。根据电生理学的记录，dACC可能在集合水平上促进了转换，而辅助运动区可能卷入到抑制其执行成分，也即，行动集和相关的刺激-行动联结。
行动者任务集变得不可靠时，新的任务集使用之前学习过的情境来指导行为。当前的实证的发现认为创造过程包含了尾部LPFC和运动前区皮质以及基底神经节。新创建的任务集最初被认为是不可靠的，但是学习之后可能会变的可靠。fMRI的结果显示之后的事件能够引发腹侧纹状体、伴随着前运动区和尾部LPFC的激活，反应了当新创建的任务集变得可靠时其在长时记忆中的巩固融合。
行为的结果预测人类可以推断出同时发生的三到四个任务集的绝对可靠性：即当前的行动者任务集和伴随着的两到三个可供选择的任务集。后者对应的是之前为可靠的，之后被证实不再可靠的那些任务集。当个体转向上文描述的探索的过程时，之前的行动者保存为一个可供选择的任务集并时刻监控。fRMI研究指出侧前级PFC （FPC）在探索中的作用，其他的一些fRMI研究显示FPC 卷入到支持和监控可供选择的行动的过程。因此FPC似乎不断追踪和推断一些可供选择的任务集的绝对可靠性，尤其是在探索阶段。
当两个任务集不能同时被证明是可靠的时候，任何一个可供选择的任务集都有可能变得可靠然后重新恢复，取代当前的行动者任务集。当正在发挥作用的行动者任务集是不可靠的时候，这种恢复过程也可以通过直接转向可供选择的另一个任务集而直接跳过探索阶段，fMRI的数据显示PFC探测何时一个可供选择的任务集变的可靠。
这些近期的研究发现PFC包含两个平行的推理路线：（1）一个中间的路线，从vmPFC到dmPFC，主要是决断利用/调整驱动行为的当前的任务集还是从长时记忆中探索/创造一个新的任务集。vmPFC推断当前行动者任务集在预测行动结果中的可靠性，而dmPFC的作用则是当发现任务集不可靠时抑制它，然后进行探索；（2）还有一个侧面的路线，从FPC到IPFC，主要作用是在探索/学习新的任务集和利用最近使用过的供选择的任务集中进行决断。FPC用来推断这些可供选择的任务集在预测当前行动结果中的可靠性，IPFC的作用在则是当其中一个变得可靠时重新将其作为一个行动者。后者的追踪使得在可供选择的行为策略可以应对当前情境时避免转向或持续处于探索阶段。
总之，简单的决策主要涉及到边缘PFC系统，主要包括侧前运动区皮质和中叶眶额皮层。后者分别涉及到与刺激和预期奖励直接相关的运动反应的选择。尾部的IPFC有行动中将多重刺激-反应和反应-结果联结抽象化的能力。尾部的IPFC可以根据外部线索和执行行为计划的预期结果来共同选择多重的联结。腹中侧、背内侧、外侧和两级的PFC区域组成了核心执行系统，可以线上推断情境可能的变化以及在以下三種任务集中进行选择：（1）调整和利用驱动行为的当前的任务集；（2）转向可供选择的其他任务集；（3）探索/创造新的任务集。
参考文献
[1]Collins A G， Cavanagh J F， Frank M J. Human EEG uncovers latent generalizable rule structure during learning [J]. The Journal of Neuroscience， 2014， 34（13）： 4677-4685.
[2]Angela J Y， Dayan P. Uncertainty， neuromodulation， and attention [J]. Neuron， 2005， 46（4）： 681-692.
作者简介：张秀青，女，出生日期：1987.04.15 河南新乡 陕西师范大学，硕士 心理学院 基础心理学 心理学理论与应用。
关键词：决策；执行控制；前额叶
有证据证明引导行为选择的期望奖励的计算主要涉及腹正中的PFC（ventromedial PFC ，vmPFC）。尤其是其腹部的部分，可以将独立的主观奖励按照一定比例转化为“通用货币”以用来比较价值，进而引导决策。奖励价值通常与行动的结果有关。vmPFC涉及到预测行动结果暗示vmPFC编码了行动与结果之间的联结并通过奖励的价值来选择行动。根据知觉线索选择行动则涉及外侧前运动区皮质。然而，当预期的奖励和知觉线索并不指向特定的行为时，会在更加抽象的行动集中做选择，可能之后根据刺激引导具体的行为选择。在这样的情境下，基于奖励的选择和基于线索的选择都涉及到了外侧前额叶皮层（IPFC），这是关乎认知控制的脑区，即，关乎行动集的形成和选择。重要的是，即使当其构造并没有表现出即时的行为的优势，但是抽象行为集也会自发的发展控制行为的选择。[1]
抽象行动集包括了多个刺激-行动和刺激-行动-结果的联结。计算模型认为刺激-行动和刺激-行动-结果的联结是习得的并且分别通过强化和统计学习来不断调整，抽象行动集是通过概率集的过程形成的。当相似的外部环境长存时，这些激活的灵活的表征一起驱动行为的选择，组成一个一致的行为策略，也叫任务集。
任务集是有效适应行为的关键的执行单元。这些任务集是以外部情境的心理例证的形式进行储存的，情境再次出现时可以加以利用这些任务集。这些适应的能力要求持续不断的在利用/调整之前已经学会的任务集和探索/创造新的任务集中进行选择。PFC不断为这种情况作出决断。包括了包含腹正中的、背内侧、外侧和两级的PFC执行系统是面对这种问题可以实施的一种近乎算法的解决方法。该方法假定执行系统推断驱动行为的当前任务集是绝对可靠的：基于当前外界的证据测定概率量，该任务集也可以用于情境不变的情况下（外界环境的范围潜在意义上是无限的），这个绝对可靠的概念概括了开放式环境中的期望/非期望的不确定性。[2]
vmPFC很可能编码了行动者任务集的前向模型。fRMI研究进一步发现在倒序学习任务中，vmPFC的激活随着目前情境保持不变（根据现实的行动结果判断，结果不变意味着情境不变）的可能性而变化。vmPFC涉及根据预期的和实际的行为结果之间的一致性来推断行动者任务集的可靠性。vmPFC 的激活可以用来预测个体在简单的基于奖励的选择任务中的信心。
当行动者的任务集从可靠向不可靠转变时，当前的外界情境很可能是改变了。主体将会改变之前利用/调整当前的行动集转向形成新的建立在长时记忆中收集的任务集基础之上的行动集。背内侧PFC （dmPFC）包含背部前扣带回皮层（dACC）和辅助运动区（pre-SMA），主要负责反应算法的转换。这种离散的，非参数的转换包含了抑制当前的行动者任务集而去创造新的指导行为的任务集。根据电生理学的记录，dACC可能在集合水平上促进了转换，而辅助运动区可能卷入到抑制其执行成分，也即，行动集和相关的刺激-行动联结。
行动者任务集变得不可靠时，新的任务集使用之前学习过的情境来指导行为。当前的实证的发现认为创造过程包含了尾部LPFC和运动前区皮质以及基底神经节。新创建的任务集最初被认为是不可靠的，但是学习之后可能会变的可靠。fMRI的结果显示之后的事件能够引发腹侧纹状体、伴随着前运动区和尾部LPFC的激活，反应了当新创建的任务集变得可靠时其在长时记忆中的巩固融合。
行为的结果预测人类可以推断出同时发生的三到四个任务集的绝对可靠性：即当前的行动者任务集和伴随着的两到三个可供选择的任务集。后者对应的是之前为可靠的，之后被证实不再可靠的那些任务集。当个体转向上文描述的探索的过程时，之前的行动者保存为一个可供选择的任务集并时刻监控。fRMI研究指出侧前级PFC （FPC）在探索中的作用，其他的一些fRMI研究显示FPC 卷入到支持和监控可供选择的行动的过程。因此FPC似乎不断追踪和推断一些可供选择的任务集的绝对可靠性，尤其是在探索阶段。
当两个任务集不能同时被证明是可靠的时候，任何一个可供选择的任务集都有可能变得可靠然后重新恢复，取代当前的行动者任务集。当正在发挥作用的行动者任务集是不可靠的时候，这种恢复过程也可以通过直接转向可供选择的另一个任务集而直接跳过探索阶段，fMRI的数据显示PFC探测何时一个可供选择的任务集变的可靠。
这些近期的研究发现PFC包含两个平行的推理路线：（1）一个中间的路线，从vmPFC到dmPFC，主要是决断利用/调整驱动行为的当前的任务集还是从长时记忆中探索/创造一个新的任务集。vmPFC推断当前行动者任务集在预测行动结果中的可靠性，而dmPFC的作用则是当发现任务集不可靠时抑制它，然后进行探索；（2）还有一个侧面的路线，从FPC到IPFC，主要作用是在探索/学习新的任务集和利用最近使用过的供选择的任务集中进行决断。FPC用来推断这些可供选择的任务集在预测当前行动结果中的可靠性，IPFC的作用在则是当其中一个变得可靠时重新将其作为一个行动者。后者的追踪使得在可供选择的行为策略可以应对当前情境时避免转向或持续处于探索阶段。
总之，简单的决策主要涉及到边缘PFC系统，主要包括侧前运动区皮质和中叶眶额皮层。后者分别涉及到与刺激和预期奖励直接相关的运动反应的选择。尾部的IPFC有行动中将多重刺激-反应和反应-结果联结抽象化的能力。尾部的IPFC可以根据外部线索和执行行为计划的预期结果来共同选择多重的联结。腹中侧、背内侧、外侧和两级的PFC区域组成了核心执行系统，可以线上推断情境可能的变化以及在以下三種任务集中进行选择：（1）调整和利用驱动行为的当前的任务集；（2）转向可供选择的其他任务集；（3）探索/创造新的任务集。
参考文献
[1]Collins A G， Cavanagh J F， Frank M J. Human EEG uncovers latent generalizable rule structure during learning [J]. The Journal of Neuroscience， 2014， 34（13）： 4677-4685.
[2]Angela J Y， Dayan P. Uncertainty， neuromodulation， and attention [J]. Neuron， 2005， 46（4）： 681-692.
作者简介：张秀青，女，出生日期：1987.04.15 河南新乡 陕西师范大学，硕士 心理学院 基础心理学 心理学理论与应用。