摘要

当了解动态和不确定的环境时，人们应在新证据最能提供信息的时候最强烈地更新他们的信念，比如当环境发生了惊人的变化或现有的信念高度不确定的时候。我们发现，对惊喜和不确定性的调节被编码在一个特定的、全脑功能连接的时间动态模式中，并且这种编码在那些更适当适应他们的学习动态以应对这些因素的个体中得到增强。这种全脑功能连接模式的关键特征是额顶叶和其他功能系统之间更强的连接或功能整合。我们的研究结果为学习中的动态调整和大脑中功能连接的动态、大规模变化之间的联系提供了新的见解。

1.简述

人类的决策是由对当前环境特征的信念所引导的。这些信念通常必须从间接和不确定的证据中推断出来。例如，决定去一家餐馆通常取决于对它当前质量的信念，这可以从过去在那家餐馆的经历中推断出来。在动态环境中，这种推断过程尤其具有挑战性，因为动态环境的特征可能会发生意外变化(例如，刚雇佣了一个新厨师)。在这些环境中，人们倾向于遵循规范性原则，动态地、适应性地更新他们的信念，这样，当现有的信念较弱或不相关，以及/或新证据强大或令人惊讶时，信念的更新会更强烈。最近的研究已经确定了这种适应性信念更新过程的潜在神经基质，包括背内侧额叶皮层、前脑岛、外侧前额叶皮层和外侧顶叶皮层的不确定性和惊奇的单变量和多变量活动模式。本研究的目的是深入了解这些表征如何动态交互以支持适应性信念更新。

2.结果

2.1信念更新受不确定性和惊喜的影响

参与者在功能磁共振成像(fMRI)期间执行预测-推理任务(图1a)。

在这项任务中，参与者放置一个桶来接住从被遮挡的直升机上掉下来的袋子。在以直升机位置为中心的噪声分布下，对塑料袋的位置进行采样。直升机的位置通常保持稳定，但偶尔会突然发生不可预测的变化(试验中平均变化概率为0.1)。此外，在每次试验中，袋子(如果被抓住)是奖励的还是中性的被随机分配，并以颜色表示。这项任务要求参与者根据嘈杂的证据(落下的袋子的位置)形成并更新一个潜在变量(直升机的位置)的信念。

我们先前描述了一个近似于这个任务的规范解的理论模型。该理论模型采用delta规则的形式，近似于贝叶斯理想观测器。信念(Bt+1)基于当前结果位置(Xt)和预测位置(Bt)之间的差异进行更新，更新的程度受学习率控制(αt;图1b)。试次-试次学习率由两个因素决定:(i)变化点概率(CPP)，它是一个变化点发生的概率，代表一种信念惊喜的形式;(ii)相对不确定性(RU)，这是相对于来自环境噪声的不可减少不确定性而言的关于当前状态的可减少不确定性，代表一种信念不确定性形式(图1c)。当CPP或RU更高时，学习率更高:αt=CPP+(1-CPP)RU。

图1任务以及信念更新理论模型

我们之前报道了参与者的预测如何受到规范和非规范因素的影响，以及这些因素如何在单变量和多变量活动中编码。CPP和RU值越高，被试的信念更新越频繁，与规范模型一致。然而，当结果得到奖励时，参与者更新了他们的信念，这不是规范模型的特征。CPP、RU和reward以及残余更新(未被CPP、RU或reward捕获的信念更新)都在不同区域的单变量和多变量大脑活动中编码。本研究在前人研究的基础上，探讨了这些因素以及这些因素在影响信念更新方面的个体差异与全脑功能连接动态的关系。

2.2非负矩阵分解（NMF）识别出10个随时间变化的子图

用NMF方法将全脑功能连接随时间分解为特定模式，叫作子图，并量化这些模式随时间变化的表达。为执行NMF，先基于以前研究中的分区定义ROIs（图2a），提取每个ROI的BOLD时间序列（图2b）。每一对ROI，计算25s（10TR）时间窗内的皮尔森相关，2TR的时间步长作为补偿（连续的时间窗有80%的重叠）。这一过程产生了一个矩阵，其中的条目代表了在任务期间大脑中这些成对相关性强度的时间依赖性变化。我们从这个相关矩阵(图2c)展开每个时间窗，将其变成一列向量，然后将所有时间窗和所有参与者的这些向量连接起来(图2d)。根据NMF的要求，我们将得到的矩阵转换为严格的非负值:我们复制整个矩阵，在第一次复制中将所有负值设置为零，在第二次复制中将所有正值设置为零，然后将所有剩余值乘以负1。因此，我们将最终的完整数据矩阵分成两部分，其中一半包含正相关系数(负相关系数为零)，另一半包含负相关系数的绝对值(正相关系数为零)。

这一过程确保了我们的方法不会对积极或消极的功能连接给予不适当的偏好，并且子图是基于积极和消极的功能连接来识别的。

将NMF用于矩阵A来识别子图以及它们随时间的表达。具体来说，将整个数据矩阵解构为子图矩阵W和表达矩阵H（图2d）。W的列代表不同子图，行代表不同的边（脑区对），每个单元的值代表边的强度。H的列代表不同子图，行代表时间窗，每个单元的值代表子图在时间窗表达的度。通过三个参数最小化误差来应用NMF：1）子图数量k；2）子图正则化α；3）表达系数β。

使用NMF，我们确定了10个子图，它们反映了大脑中每一对区域的功能连接强度模式，以及这些子图随着时间的推移的表达。每个子图的完整描述指定了每对ROI之间的边强度，对应一个x矩阵。我们计算了一个更简单的总结描述，它指定了前面定义的分割中每一对功能系统之间的边强度，对应于一个13x13矩阵。根据各ROI的功能系统对ROI之间的边进行分类。为了估计系统矩阵中的对角线条目，我们平均了给定系统内连接两个ROI的所有边的权值(图3a)。

为了估计系统矩阵的非对角线条目，我们将一个系统中的ROI与另一个系统中的ROI连接的所有边的权值平均。按照通常的说法，我们将同一系统内的边称为系统内的边，而将两个不同系统之间的边称为系统间的边。为了表示，我们根据系统内边相对于系统间边的强度对10个子图进行了排序和编号(图3b，补充图2ac)。最后，我们对系统逐系统矩阵设置阈值，仅显示通过排列检验的边。整个数据矩阵被分成两半，第一半对应正矩阵，第二半对应负矩阵。表达矩阵H也被分为两半，第一半对应正表达，第二半对应负表达。所有子图正和负表达系数高度负相关。对于下面的子图表达式的分析，我们因此构造了一个相对子图表达式的测度，方法是在每个时间点上用正表达式减去负表达式。在子图中，跨越时间的平均相对表达与系统内边相对于系统间边的相对强度强相关(补充图2df)。也就是说，系统内强度越高，子图的相对表达越高。

图2方法综述

2.3规范因素调节子图表达

我们研究了CPP、RU、reward和残差更新如何影响每个子图的时间表达。我们发现，规范性因素(CPP、RU和反映参与者对这些变量的主观估计的残差)和子图4之间存在特别强的关系，子图4最强的边在额顶任务控制系统中，其次是记忆提取。具体来说，我们使用多元回归来估计这四个因素与每个子图的相对表达强度之间的不断尝试的关系。对于每个子图，分别拟合每个参与者的回归系数，并在组水平上使用t检验(补充图3)。在十个子图中，这四个因素解释了子图4的时间依赖相对表达的最大方差(补充图4)。我们还评估了头部运动的影响，在回归模型中包括运动，以6个运动参数的相对均方根为索引。运动不显著，CPP、RU和残差更新的影响仍然显著，且影响大小相似。

虽然CPP或RU也调制一些其他子图的相对表达(例如，子图1,3和7;补充图3)，下面我们

转载请注明:http://www.aideyishus.com/lkjg/1305.html