Microsoft Word 网络版.doc

Transcription

1 中国科学 C 辑 : 生命科学 2009 年第 39 卷第 8 期 : 783 ~ life.scichina.com SCIENCE IN CHINA PRESS 简单贝叶斯决策的计算神经模型 程振波, 邓志东 *, 杨博 清华大学计算机系, 信息科学与技术国家实验室 ( 筹 ), 智能技术与系统国家重点实验室, 北京 * 联系人, michael@tsinghua.edu.cn 收稿日期 : ; 接受日期 : 国家自然科学基金 ( 批准号 : 和 ) 资助项目 摘要大脑根据贝叶斯理论处理信息已经得到诸多心理学和神经生理学实验的支持. 贝叶斯推理过程往往需要处理复杂的概率计算, 最近 Shadlen 和 Gold 提出基于对数似然比可以简化基于贝叶斯的两可决策任务. 然而, 目前并不清楚如何在神经回路中实现基于对数似然比的贝叶斯决策. 通过建立具有信息整合与胜者独享特性的决策神经回路, 结合奖励调制的突触可塑性学习算法, 得到决策行为与突触可塑性之间的对应关系, 由此可实现简单贝叶斯决策的计算神经模型. 最后, 利用该模型模拟出最近 Yang 和 Shadlen 关于恒河猴可进行贝叶斯决策的实验结果. 关键词贝叶斯决策对数似然学习算法计算神经模型 合理的决策能力是人类及动物生存的基本能力. 决策过程涉及感觉信息 整合信息和执行动作 3 个阶段 [1]. 由于环境的不确定性, 决策过程感觉的信息往往具有不确定性. 贝叶斯理论是形式化描述不确定信息的强大理论工具. 心理学家和神经学家已发现, [2] 利用贝叶斯理论可以解释许多心理学现象及大脑感知觉信息处理的实验结果, 如视觉和触觉的信息融合 [3] 动作控制 [4] [5] 视觉感知等. 大脑根据贝叶斯理论处理信息被称为神经科学的 第一原理 [6]. 目前, 研究大脑的神经回路如何实现贝叶斯推理, 已成为理论神经科学的热点问题之一 [7]. 贝叶斯理论也应用于解释根据感知觉信息进行简单两可决策任务的实验结果 [8]. 然而基于贝叶斯理论的决策过程除了需要编码概率分布外还需要复杂的概率计算. 为了简化利用贝叶斯理论进行决策的计算杂性, Gold 与 Shadlen [8] 提出了基于对数似然比的贝叶斯决策模型, 最近的神经生理学实验进一步验证了这个假设 [9]. 然而, 目前并不清楚如何在神经回路实现基于 对数似然比的贝叶斯决策 [9]. 本研究通过建立具有信息整合与胜者独享 (winner-take-all, WTA) 特性的决策神经回路, 利用符合生理学实验结果的突触可塑性学习算法, 提出了一个新的决策回路模型. 发现该模型建立了决策行为与突触可塑性之间的简单函数关系. 更为有趣的是, 利用决策行为与突触可塑性之间的简单函数关系可以推导出神经回路能实现基于对数似然比的两可贝叶斯决策, 并且模型可以再现最近 Yang 与 Shadlen [9] 关于大脑可进行概率推理的主要实验结果. 最后, 讨论了这类突触可塑性的实验证据, 并与相关的理论模型进行了比较. 1 模型与方法 1.1 决策回路的动力学方程 Wang [10] 曾提出了一个具有持续活动和胜者独享特性的神经回路模型, 神经回路中的神经元为脉冲型神经元, 并按照生理学实验数据建立回路中的突触联结. 他发现该回路的动力学特性能再现根据感觉信息进行两可决策的神经电生理学实验结果. 最 引用格式 : 程振波, 邓志东, 杨博. 简单贝叶斯决策的计算神经模型. 中国科学 C 辑 : 生命科学, 2009, 39(8):

2 程振波等 : 简单贝叶斯决策的计算神经模型 [11, 12] 近, Wong 等人基于神经场方程简化了 Wang 的神经回路模型, 该简化模型不仅保留了脉冲型神经元回路模型的诸多动力学特性, 而且可以解释一些根据感觉信息进行两可决策的神经电生理学实验结果 [13~15]. 本研究在 Wong 神经回路模型的基础上, 结合基于奖励调制的突触建立了一个新的决策计算模型. 该模型分为两个部分 ( 图 1), 编码感觉信息的输入层和用于整合输入信息并进行决策的决策层. 输入层用于编码被试接受到的感觉信息 ( 外界刺激 ), 编码后的感觉信息则通过输入突触与决策回路相联. 输入突触能根据决策结果的反馈信息 ( 奖励 ) 调整其状态, 决策层内部突触的联结方式为自递归和侧抑制. 决策层包括两个分别对应备选目标 A 和 B 的神经元群体. 神经元群体 A 的持续发放对应于被试的行为将选择目标 A; 而神经元群体 B 的持续发放对应于被试的行为将选择目标 B. 群体 A 与 B 利用发放率 r i (i=a, B) 来表示群体内部神经元总的平均活性, 发放 [11, 率与输入电流满足如下方程 12] : αii β ri =Φ ( Ii) =. (1) 1 exp[ ρ( αi β)] i 式中参数分别为 α=270 Hz/nA, β=108 Hz, ρ=0.154 s. 决策回路的动力学特性由变量 S i (i = A, B) 描述, 它反映了决策回路内部由于电流值的变化而引起的神经递质的动力学变化, 即 : dsi τ dt = S + (1 S ) γ Φ ( I ). (2) Y i i i 其中, τ Y =60 ms 为慢整合常数, γ=0.641 为调节参数. S i 的动力学变化又会引起神经元群体 A 和 B 的输入电流发生改变, 决策回路电流值的方程为 I = J S J S + I + I + I, (3) A ex A in B stimulus, A 0 noise, A I = J S J S + I + I + I. (4) B ex B in A stimulus, B 0 noise, B 式中, I A 与 I B 分别为输入神经元群体 A 与 B 的总电流值. I stimulus, A 和 I stimulus, B 分别为外界刺激输入神经元群体 A 和 B 的电流, 它们的值由对应的输入突触所处状态的比例决定. I 0 =0.322 na, 表示脑区其他回路的活性对决策回路的影响. J ex = na, 表示神经元群体 A 和 B 内部自递归突触的耦合强度, 可看作是由兴奋性递质 ( 如 NMDA, AMPA) 引起的调节常数. J in = na, 表示侧抑制 ( 如胺基丁酸 GABA) 引起的调节常数. I noise, A 和 I noise, B, 回路中的内部或外部噪 图 1 决策模型的结构 本研究并未直接模拟读取决策回路神经元群体 A 和 B 的电活动结果的动作执行回路, 而是通过比较群体 A 与 B 的平均发放率的大小决定选择的目标, 由于回路胜者独享的特性, 群体 A 与 B 在执行动作前只会有一个处于活性状态 784

3 中国科学 C 辑 : 生命科学 2009 年第 39 卷第 8 期 声, 其动力学方程为 : dinoise, i () t τnoise = Inoise, i () t + σnoise τnoiseηi () t, (5) dt 其中, 时间常数 t noise =2 ms, s noise 为高斯白噪声, 噪声的增益 s noise =0.02 na. 侧抑制联结使得决策回路中神经元群体 A 和 B 之间产生竞争, 并最终导致胜者独享 ( 图 2). 图中外界刺激在第 500 ms 出现, 持续到第 1500 ms, 然后撤除. 决策回路中群体的活性在第 1000 ms 处产生明显的分离, 获胜后的群体获得较高的活性, 而获败群体的活性会降至类似于神经元自发发放的平均活性. 外界刺激在第 1500 ms 撤消后, 获胜的群体仍然保持一定的活性. 这种在撤除外界刺激后仍然保持活性的现象被称为持续活性 (persistent activity) [16], 它被认为与工作记忆有关 [17]. 从决策回路的相图可以看出 10 次实验中有 7 次收敛到使得群体 A 获胜的稳定点, 3 次收敛到使得群体 B 获胜的稳定点 ( 关于决策回路更详细的动力学分析见网络版附录 ). 1.2 奖励调制的突触模型感觉信息通过输入突触与决策回路中的群体 A 和 B 分别相联, 假设每一输入突触的状态属于 U 或 D [18~20], 处于状态 U 的突触电导数高而处于状态 D 的突触电导数低, 可塑性表现为突触状态间的变化. 输入突触的总数为 N, 与决策回路的神经元群体相联结并处于状态 U 的突触数为 : N U Ni = Wij, ( i = A, B). (6) j= 1 如果突触处于状态 U 则 W ij =1, 处于状态 D 则 W ij =0. 处于状态 D 的突触数 N D i =N-N U i. w A =N U A /N 是输入层与神经元群体 A 联结的突触处于状态 U 的比率, w B =N U B /N 是输入层与神经元群体 B 联结的突触处于状态 U 的比率. 学习算法就是根据决策后的反馈信号 ( 是否获得奖励 ) 调节突触的状态. 假设某一时刻决策神经回路的群体 A 获胜, 被试选择目标 A. 如果被试获得奖励 D (r=1), 那么输入突触 W Aj 中状态为 D 突触 W Aj 将以概率 p + 变为状态 U, 类似于突触的长时程增强 (Longterm potentiation, LTP); 如果没有得到奖励 (r=0), 那 U 么处于状态 U 的突触 W Aj 以概率 p 变为状态 D, 类似于突触的长时程减弱 (Long-term depress, LTD) [18]. 群体 A 获胜时, 突触 W Bj 的状态不发生变化, 并且假设反馈的结果不会直接改变决策回路内部突触的值. 因此, 可得基于奖励调制的突触可塑性算法为 : D ij W = 1, rand < p +, (i= 获胜的群体 A/B, r=1), (7) U ij W = 0, rand < p, (i= 获胜的群体 A/B, r=0). (8) 其中, rand 为均匀分布于 [0, 1] 之间的随机数. 由以上算法可以得到, 学习过程中输入突触处于状态 U 的比率变化为 : w i (t + 1) = w i (t) + p + (1 w i (t)), (9) w i (t + 1) = w i (t) p w i (t). (10) 图 2 决策回路的动力学特性 (A) 神经元群体表现出胜者独享和持续活性. 深色线条为群体 A 的发放率变化曲线, 浅色线条为群体 B 的发放率曲线 ; (B) 决策回路的相图. a,b 线条为动力学方程的平衡点集, 深色曲线为导致群体 A 获胜的 S A 与 S B 在相空间的轨迹, 浅色曲线为导致群体 B 获胜的 S A 与 S B 在相空间的轨迹 785

4 程振波等 : 简单贝叶斯决策的计算神经模型 式 (9) 右边第二项计算处于状态 D 的突触以概率 p + 变为状态 U, 式 (10) 的第二项为处于状态 U 的突触以概率 p 变为状态 D. 以上学习算法首先符合 Hebb 规则, 即突触可塑性考虑了编码外界刺激的神经元群体与决策层神经元群体之间电活动的相关性. 因为决策回路具有胜者独享的特性, 所以被试需要作出选择时只有一个神经元群体 A 或者 B 处于较高的活性状态, 因此只有与获胜的神经元群体相联结的突触在学习过程中会调节其突触的状态. 另外, 学习算法考虑了奖励对突触可塑性的影响, 如果获胜的神经元群体对应的选择目标得到奖励, 那么奖励会增强这部分输入突触 ; 而如果获胜的神经元群体对应的选择目标被选择后没有得到奖励, 那么对应的突触会减弱. 再次, 学习算法的计算过程只需局部信息, 即当前选择行为是否获得奖励. 最后, 突触状态的变化是一个随机过程, 类似于突触前神经元递质的释放 ( 数量和种类 ) 与突触后受体开关等不确定性因素. 在第 4.1 小节将详细讨论该学习算法的神经生理学实验证据. 2 模型的特性 2.1 输入突触与决策行为之间的关系假定神经元群体 X i (i = 1,, M ) 编码外界刺激 s i (i = 1,, M ), 并且假定它们的平均发放率相同. 输入突触的平均电导数可由突触数量 突触前神经元的发放率以及不同状态的突触比率计算, 其方程为 [18] : G = N f (wg + + (1 w)g ). (11) 其中 N 为输入突触的个数, f 为突触前的神经元的平均发放率. 在处于状态 U 时, 突触的电导数为 g + =5.5 ns; 在处于状态 D 时, 突触的电导数为 g =0.5 ns. 由决策回路的动力学方程可知决策回路群体 A 与 B 获胜的概率主要取决于与外界刺激对应的输入电流 I stimulus,a 与 I stimulus,b 的相对大小. 当 I stimulus,a 与 I stimulus,b 近似相等时, 群体 A 与群体 B 获胜的概率近似相等 ; 而当群体 A 的 I stimulus,a 远大于群体 B 的 I stimulus,b 时, 群体 A 获胜的概率随之增大. 电流是电导数的线性函数 [21]. 因此, 决策回路神经元群体 A 和 B 的输入突触的平均电导数差值的大小是决定群体 A 或 B 获胜的关键变量. 由式 (11) 可得决策回路神经元 群体 A 和 B 的输入突触的平均电导数的差值为 : GA GB = ( wa wb) N f ( g+ g ). (12) 这里 N f (g + g ) 为常数, 因此可知决策回路的选择结果是输入突触所处状态比例差值的函数. 为了得到输入突触强度差值与目标被选择概率之间的关系, 设定不同的 w A 与 w B 的值, 代入到决策回路方程, 计算群体获胜的概率, 得到如图 3 所示的关系. 从图 3 可以看出输入突触所处状态比率的差值决定了决策回路神经元群体 A 和 B 获胜的概率, 差值越大则决策回路的选择越确定. 图 3 中的细实线为拟合曲线, 其方程为 : 1 P(A s) = 1+ exp( k(w A w B )), (13) 其中 k 为调节参数, P(A s) 是给定刺激 s 后选择目标 A 的条件概率. 与决策回路对应的输入突触的差值决定了目标获胜的概率, 差值越大, 决策结果越确定. 图中横坐标为神经元群体 A 和 B 相联结的突触处于状态 U 时比率的差, 纵坐标为选择目标 A 的概率. 每一突触强度运行 200 次, 后求出选择目标 A 的概率. 每次决策的时间为 2000 ms, 外界刺激在 500 ms 时出现直到第 1000 ms 时结束. 微分方程的步长为 0.1 ms, k= , p + =0.01, p =0.01. 仿真结果表明, 某目标选择的概率与输入突触所处状态比率的差值呈 Sigmoid 函数关系. 为了能证明这一对应关系, 利用决策回路的动力学方程与一维扩散过程等价这一结论, 通过构造一个具有 图 3 突触强度的差值与选择概率的关系 786

5 中国科学 C 辑 : 生命科学 2009 年第 39 卷第 8 期 鞅性的随机过程, 并利用鞅的停时定理得到选择概率的解析表达式, 同样可以得到与以上仿真结果类似的结论 ( 详细证明过程见网络版附录 ). 2.2 突触的动态变化与获得奖励的后验概率 决策回路整合输入信息 ( 对选择目标的偏好证据 ), 然后作出选择, 根据选择的结果是否得到奖励更新突触的状态, 突触状态的更新又会进一步影响之后的决策过程. 学习实际上是模型根据所获奖励不断调整输入突触状态的过程, 当学习算法收敛后, 可以发现输入突触状态的动态变化是在估计输入刺激获得奖励的后验概率. 模型对外界刺激 s 经历 N 步学习后选择目标 A 的次数为 N A, 选择目标 B 的次数 N B, 显然 N=N A +N B. 学习过程共获得奖励 R 次, 其中选择目标 A 而获得的奖励数为 R A, 选择目标 B 而获得的奖励数为 R B, R=R A +R B. 给定刺激 s 后选择目标 A 的获得奖励的条件概率 P(r = 1 A, s) = R A / N A. 在学习过程中, 输入突触的状态根据所获得的奖励按照式 (7) 和 (8) 进行调整, 考察神经元群体 A 的输入突触状态的平均变化值 Δw A, 可得 Δw A = p + (1 w A ) R A N p w N A R A A. (14) N 式中第一项为突触 W Aj 在学习过程经历 LTP 而引起的突触状态的平均变化, 第二项为学习过程经历 LTD 而引起的突触状态的平均变化. 当学习过程收敛后, 突触状态的平均变化达到平稳状态, 即 Δw A = 0, 因此可得 : pr + A wa =. (15) p NA + ( p+ p ) RA 当 p + 与 p 足够小且相等时, 算法可收敛且可得 : wa = RA / NA = P( r = 1 A, s). (16) 同理可得 : wb = RB / NB = P( r = 1 B, s). (17) 因此, 学习算法收敛后输入突触处于状态 U 的比率等于选择目标 A 或者 B 可能获得奖励的概率. 以给予目标 A 的奖励概率为 70% 的外界刺激为例, 按照式 (7) 和 (8) 学习算法进行仿真, 得到的突触状态变化与以上理论推导结果一致. 仿真结果如图 4 所示, 其中横 坐标为实验次数, 纵坐标为突触处于状态 U 的比率. 虚线纵坐标的值表示外界刺激出现时选择目标 A 获得奖励的概率 (70%), 曲线是在学习过程中与神经元群体 A 联结的突触处于状态 U 的比率变化. 每次决策的时间为 2000 ms, 外界刺激在 500 ms 时出现直到第 1000 ms 时结束. 微分方程的步长为 0.1 ms, p + =0.01, p = 决策模型可实现简单贝叶斯决策给定刺激 s 后, 需要判定刺激 s 属于类别 A 还是 B, 由贝叶斯公式可得 : Ps ( APA ) ( ) PAs ( ) =, (18) Ps () Ps ( BPB ) ( ) PB ( s) =. (19) Ps () 如果 P(A s) > P(B s), 则可判断刺激 s 属于类别 A, 反之则判断刺激 s 属于类别 B. 因此, 刺激 s 如果判定属于 A, 则需下式成立 : Ps ( A) PB ( ) >. (20) Ps ( B) PA ( ) 假定对于刺激 s 所属类别的先验相等, 则可得 Ps ( A) 1 Ps ( B ) >, (21) 即 LR ABs, Ps ( A) = log > 0. (22) Ps ( B) 其中 LR A,B s 表示对数似然比. 这样只需根据对数似然图 4 学习过程中突触状态的变化 787

6 程振波等 : 简单贝叶斯决策的计算神经模型 比的值便可判断刺激所属类别. 因此, Gold 与 Shadlen 认为对数似然比是大脑决策的 硬通货币. 本研究决策回路的突触强度差编码了对数似然比. 由输入突触与决策行为之间的关系 : 可得, 即 P(A s) = k( wa wb) PAs ( )(1 + e ) = e k(w A w B ), (23) k( wa wb) PAs ( ) + PAse ( ) = 1 k( wa wb) PAse ( ) = 1 PAs ( ) ( ) 1 ( ) A B e = PAs ( ) k w w PAs ( ) ( ) A B e =, PB ( s) k w w PAs 1 PAs ( ) 1 Ps ( A) 1 wa wb = log = log = LRA, B s.(24) k P( B s) k P( s B) k 因此, 决策回路中输入突触强度的差值编码了对数似然比 LR A, B s. 因为模型的决策行为是由输入突触的强度差决定, 而突触的强度差编码了对数似然比, 所以决策模型也就是根据对数似然比的准则进行决策. 3 模型解释生理学实验结果 Yang 与 Shadlen [9] 训练恒河猴执行类似于天气预测的任务, 被试在屏幕上看到 4 个依次出现的图形, 被试需要根据这些出现的图形做出两可选择 ( 选择红色或绿色 ). 出现在屏幕上的 4 个图形是从 10 个不同的图形中随机选取, 每一个图形均有一个可能获得奖励的证据权重 (weight of evidence, WOE), 定义为对数似然比 [9], 即 Ps ( 1, s2, s3, s4 A) WOE = LRn = log,( n = 1, 2,3, 4).(25) Ps ( 1, s2, s3, s4 B) 实验结果表明, 被试能通过学习知道每一个图形可能获得奖励的证据权重, 还能整合 4 个依次出现图形的证据权重并做出选择. 利用本研究的决策模型, 可以仿真出这个实验的部分结果. 假设 10 个图形分别由 10 个不同的神经元群体 X j k 编码, k 表示每一输入层群体中神经元的个数 (k=1, 2,, 1000), j 表示不同的图形 (j=1, 2,, 10). 在只有一个输入图形的学习阶段, 每一个图形将按照该图形 WOE 值给予备选目标奖励. 由第 2 小节可知, 决策模型的学习过程其输入突触的状态比等于目标选择后获得奖励的概率, 而且输入突触强度的差值编码了对数似然比, 即 s 1 j Δ w = LRABs,, ( j = 1,,10). (26) j k 在学习结束后, 10 个不同图形对应的输入突触的强度各不相同, 因此各个图形的输入电流值也各不相同. 本研究通过下式计算各个图形的输入电流 s I j stimulus,i (i = A, B; j=1, 2,, 10), (27) s s s j j j Istimulus, i = Jext μ 0 N [ wi g+ + (1 wi ) g ], (28) 其中, 常数 J ext = , μ 0 =30, N=1000 为输入突触的个数. 图 5 给出了在学习阶段, 利用决策模型得 s 到的 10 个图形对应的输入电流 I j stimulus,i. 横坐标为 10 个图形, 纵坐标为与神经元群体 A 和 B 对应的输入电流. 每次决策的时间为 2000 ms, 外界刺激在 500 ms 时出现, 直到第 1000 ms 时结束. 微分方程的步长为 0.1 ms, p + =0.01, p =0.01. 当实验依次输入 4 个图形时, 由于图形的选择相互独立, 有 : Ps ( 1, s2, s3, s4 A) log Ps ( 1, s2, s3, s4 B ) Ps ( A) Ps ( A) Ps ( A) Ps ( A) = log Ps ( B) Ps ( B) Ps ( B) Ps ( B) Ps ( 1 A) Ps ( 2 A) = log + log (29) Ps ( 1 B) Ps ( 2 B) Ps ( 3 A) Ps ( 4 A) + log + log Ps ( 3 B) Ps ( 4 B) = LRABs, + LR 1 ABs, + LR 2 ABs, + LR 3 A, Bs 4. 又由式 (26), 可得 Ps ( 1, s2, s3, s4 A) 1 s 1 1 s2 log = Δ w + Δ w + Ps ( 1, s2, s3, s4 B ) k k 1 s 1 3 s4 + Δ w + Δw Δw. k k (30) 因此, 依次输入 4 个图形时的对数似然比与同时给定 4 个图形时的输入突触强度差值的和为线性关系. 仿真结果表明, 证据权重与选择行为的关系将 788

7 中国科学 C 辑 : 生命科学 2009 年第 39 卷第 8 期 呈 Sigmoid 函数关系 ( 图 6), 这一仿真结果与 Yang 与 Shadlen 实验结果相同. 如图 6 所示, 当选择目标 A 的 WOE 值等于 0 时, 模型的最终选择结果即不偏向目标 A 也不偏向 B. 而当 WOE 值增大, 意味着选择目标 A 获得奖励的可能性较大时, 模型选择目标 A 的概率也相应的变大. 当 WOE 的值超过 2 以后, 即根据 4 个出现的图形被试选择目标 A 一定获得奖励, 因此模型选择目标 A 的概率也为 1. 图中横坐标为 4 个图形选择目标 A 的证据权重, 纵坐标为选择目标 A 的比率. 细实线为拟合曲线. 数据点 (*) 为选择目标 A 的证据与该证据下选择目标 A 的比率. 图中每一数据点的运算次数为 200 次, 每次的决策时间为 2000 ms, 第一个图形在第 400 ms 出现, 图形持续出现 200 ms, 4 个图形依次连续出现. 微分方程的每一步长时图 5 学习后不同图形对应的输入电流值图 6 根据证据权重选择备选目标 间为 0.1 ms, 不同图形的输入电流值如图 5 所示. 4 讨论 4.1 奖励调制突触可塑性的实验证据与理论依据 本研究的决策计算模型假定输入突触的可塑性是由奖励信号调整, 且突触可塑性的变化对应于其所处离散状态的改变. 本研究的理论推导和仿真结果发现, 基于奖励信号调制的突触可塑性结合胜者独享的决策回路能实现简单贝叶斯两可决策. 本文将简述支持这类突触可塑性的实验证据和理论依据. [22] Schultz 等人的经典实验发现, 猴中脑多巴胺神经元编码了实际奖励与预期奖励的差值, 同样的结果也在小鼠的腹侧被盖区的多巴胺神经元被发现 [23] [24]. Zhang 等人甚至发现, 果蝇的决策也同样受到多巴胺的影响. 尽管多巴胺神经元编码奖励涉及的具体参数 ( 奖励的数量 奖励的预测误差及奖励的时延等 ) 还存在争议, 但一般可认为奖励在大脑中由多巴胺神经元编码 [25]. 奖励在大脑中的表达与多巴胺神经元的活性有关, 并且实验发现前额皮层以及纹状体等脑区突触的 LTP 和 LTD 会受到多巴胺神经元活性的影响. [26] Reynolds 等人发现黑质区的多巴胺神经元的活性可以诱发皮层与纹状体间突触的 LTP. 从这个实验结果可以推测, 多巴胺神经元信号的有无可以使得皮层与纹状体间突触的可塑性符合 Hebb 规则 [27]. Fino [28] 等人发现, 当纹状体神经元产生动作电位的时间先于皮层神经元产生动作电位的时间时, 它们之间突触的联结是 LTP; 相反的时间过程将观察到 LTD. [29] 最近, Pawlak 等人发现, 仅仅是突触前与突触后神经元动作电位的时间关系并不足以解释皮层纹状体间突触 LTP 和 LTD 的变化, 多巴胺神经元也参与了调制突触 LTP 与 LTD 的过程. 他们通过阻断多巴胺神经元的受体 D1/D5 和 D2 发现多巴胺神经元在诱发 LTP 和 LTD 中起到不同的作用 [29]. 总之, 以上神经生理学实验均发现多巴胺神经元的活性可以调制突触的可塑性. 因此, 生理学实验结果支持奖励经由多巴胺神经元调制突触的可塑性这一理论假设. 传统的人工神经网络模型往往将突触强度值设置为连续变量, 但一些神经生理学实验结果却表明突触 [30] 强度值也可以是离散变量. Petersen 等人发现, 海 789

8 程振波等 : 简单贝叶斯决策的计算神经模型 马 CA3-CA1 之间的突触增强是在全或无离散状态之间变化, 他们推测突触强度的离散状态变化可提高 [20] 信息存储的鲁棒性. O'connor 等人通过观察小鼠大脑切片的海马 CA3-CA1 间突触增强和减弱的变化, 发现突触变化的过程是突触离散状态间的转换. 最近, Soltani 和 Wang [18] 通过建立离散状态突触的模型, 发现可以解释被试获得匹配律的理论模型. Fusi 等 [19,31,32] 人则利用突触的离散状态模型建立学习与记忆的计算模型. 理论分析结果表明, 突触的离散状态的动力学特性能获得高鲁棒性的记忆. 所以, 本研究假设突触具有离散状态, 可塑性表现为突触状态间的变换不仅有实验结果支持, 而且许多关于记忆的理论模型认为离散状态突触模型能够建立更加符合实际的记忆模型 [19,32]. 4.2 与已有模型的比较 Gold 与 Shadlen [8] 根据信号检测理论提出了一种基于对数似然比的决策模型, 该决策变量可以整合感觉信息 先验及奖励等与决策相关的因素. 只需将该决策变量与某个基准值进行比较, 就可以很容易地进行决策. 此外, 他们还提出了一种基于 neron/ antineuron 实现对数似然比的贝叶斯决策方法. 与这些模型将神经元的发放率编码对数似然比不同, 本研究认为对数似然比也可能通过突触进行计算. Wang [10] [11,12] 和 Wong 等人建立了以递归和侧抑制联结的决策回路模型, 发现该模型具有类似于工作记忆特性的持续神经活动, 可以实现信息的整合. 特别地, 决策回路的吸引子特性使得回路的动力学特性, 与神经电生理学实验在被试进行决策时观察到的 LIP 区神经电活动一致. 本研究中决策回路的模型与 Wang 的经典模型类似, 但进一步考虑了奖励对决策模型的影响. 最近, Soltani 与 Wang [18] 也研究了奖励信号对决策过程的影响. 与他们利用突触的计算模型解释匹配律不同, 本研究主要是利用由奖励调制的突触可塑性机制, 来建立贝叶斯决策的神经计算模型. 由于奖励对决策行为的重要影响, 已有许多理论神经科学家开始关注如何建立奖励对神经元和突触产生影响的理论模型. Seung [33] 提出了一个根据奖励信号调制突触可塑性的学习算法, 突触强度的变 化不仅是一个随机过程, 而且会考虑突触之前的状态. 作者发现突触的学习算法等价于获得最优奖励的随机梯度算法. Florian [34] 则提出奖励会改变突触前后神经元动作电位的时间关系, 根据依赖于脉冲时间的突触可塑性原理 (spike-timing-dependent plasticity, STDP), 该算法可以实现基于奖励的再励学习. 最近, Izhikevich [35] 同样利用突触的 STDP 与多巴胺的奖励信号实现再励学习, 他认为突触在等待获得奖励的期间会受到干扰, 导致突触不能记住之前获得奖励的情况, 从而使得学习不满足再励学习原理. Izhikevich 认为如果考虑动作电位在轴突传输的时延可以很好地解决这一问题, 并且该模型可以建立经典条件反射的理论模型. 以上模型主要是建立再励学习的理论神经模型, 即突触的可塑性如何使得最终被试的回报最优. 本文并未比较本研究的学习算法与再励学习算法之间的关系, 也没有证明算法能获得最优的回报. 此外, 与以上关于奖励调制突触可塑性的模型比较, 本研究的学习算法假定突触是离散状态, 奖励作为反馈信号主要用于调整突触的状态, 并没有涉及突触状态变化的时间关联性, 这些问题将在后续的研究中予以考虑. 4.3 可能的实验研究本研究将突触强度的变化看作是离散状态间的变换, 且认为状态间的变换由奖励信号调制. 传统的神经编码理论大都认为神经元的脉冲信号编码了外界刺激 [21], 如基于奖励的决策的神经电生理学实验, 往往揭示神经元的发放率与决策变量之间的某种相关性 [9,36]. 然而, 计算决策变量也有可能发生在神经元相互联结的突触处, 如本研究关于突触与获得奖励的后验概率之间的关系, 但这一理论结果需要得到进一步的实验验证. 本研究假设行为动作 ( 选择目标 A 或 B) 之后马上能得到反馈信号, 且可利用这个反馈信号来评价决策结果. 许多神经电生理学实验结果已发现, 奖励信号可改变突触的可塑性. 然而在实际的决策过程中, 行为动作往往在发生之后经过一个时延才能得到反馈. 在行为动作发生之后且反馈信号到来之前, 突触发生了何种可塑性, 无疑是一个值得神经电生理学实验进行研究的问题. 790

9 中国科学 C 辑 : 生命科学 2009 年第 39 卷第 8 期 5 结论基于对数似然比的贝叶斯决策理论简化了决策过程 [1,8], 不确定信息通过累加计算就可得到一个简单的决策变量. 然而, 目前并不清楚如何在神经回路中实现基于对数似然比的贝叶斯决策. 本研究基于 Wang 的递归神经回路模型, 结合生理学下可行的突触可塑性学习算法, 提出了一种新的计算决策模型. 研究结果表明, 决策模型的突触可用于计算对数似然比, 模型的决策结果符合基于对数似然比的简单的贝叶斯两可决策, 并且模型可以再现 Yang 与 Shadlen 最近实验的主要结果. 最后, 讨论了这类突触可塑性的实验证据, 与其他理论模型进行了比较, 并讨论了由理论模型引申出的需进一步实验验证的研究问题. 致谢感谢清华大学计算机系的姚文韬 梁鸣等同学对本研究的帮助. 参考文献 1 Gold J I, Shadlen M N. The neural basis of decision making. Annu Rev Neurosci, 2007, 30: Tenenbaum J B, Griffiths T L, Kemp C. Theory-based Bayesian models of inductive learning and reasoning. Trends Cogn Sci, 2006, 10: Ernst M O, Banks M S. Humans integrate visual and haptic information in a statistically optimal fashion. Nature, 2002, 415: Kording K P, Wolpert D M. Bayesian decision theory in sensorimotor control. Trends Cogn Sci, 2006, 10: Stocker A A, Simoncelli E P. Noise characteristics and prior expectations in human visual speed perception. Nat Neurosci, 2006, 9: Abbott L F. Theoretical neuroscience rising. Neuron, 2008, 60: Knill D C, Pouget A. The Bayesian brain: the role of uncertainty in neural coding and computation. Trends Neurosci, 2004, 27: Gold J I, Shadlen M N. Neural computations that underlie decisions about sensory stimuli. Trends Cogn Sci, 2001, 5: Yang T, Shadlen M N. Probabilistic reasoning by neurons. Nature, 2007, 447: Wang X J. Probabilistic decision making by slow reverberation in cortical circuits. Neuron, 2002, 36: Wong K F, Wang X J. A recurrent network mechanism of time integration in perceptual decisions. J Neurosci, 2006, 26: Wong K F, Huk A C, Shadlen M N, et al. Neural circuit dynamics underlying accumulation of time-varying evidence during perceptual decision making. Front Comput Neurosci, 2007, 1: Roitman J D, Shadlen M N. Response of neurons in the lateral intraparietal area during a combined visual discrimination reaction time task. J Neurosci, 2002, 22: Shadlen M N, Newsome W T. Neural basis of a perceptual decision in the parietal cortex(area LIP) of the rhesus monkey. J Neurophysiol, 2001, 86: Huk A C, Shadlen M N. Neural activity in macaque parietal cortex reflects temporal integration of visual motion signals during perceptual decision making. J Neurosci, 2005, 25: Wang X J. Synaptic reverberation underlying mnemonic persistent activity. Trends Neurosci, 2001, 24: Seung H S, Lee D D, Reis B Y, et al. Stability of the memory of eye position in a recurrent network of conductance-based model neurons. Neuron, 2000, 26: Soltani A, Wang X J. A biophysically based neural model of matching law behavior: melioration by stochastic synapses. J Neurosci, 2006, 26: Fusi S, Drew P J, Abbott L F. Cascade models of synaptically stored memories. Neuron, 2005, 45: O'connor D H, Wittenberg G M, Wang S S H. Graded bidirectional synaptic plasticity is composed of switch-like unitary events. Proc Natl Acad Sci USA, 2005, 102: Dayan P, Abbott L. Theoretical Neuroscience: Computational and Mathematical Modeling of Neural Systems. Cambridge Mass: MIT Press,

10 程振波等 : 简单贝叶斯决策的计算神经模型 22 Schultz W, Dayan P, Montague P R. A neural substrate of prediction and reward. Science, 1997, 275: Roesch M R, Calu D J, Schoenbaum G. Dopamine neurons encode the better option in rats deciding between differently delayed or sized rewards. Nat Neurosci, 2007, 10: Zhang K, Guo J Z, Peng Y Q, et al. Dopamine-mushroom body circuit regulates saliency-based decision-making in Drosophila. Science, 2007, 316: Schultz W. Multiple dopamine functions at different time courses. Annu Rev Neurosci, 2007, 30: Reynolds J N, Hyland B I, Wickens J R. A cellular mechanism of reward-related learning. Nature, 2001, 413: Reynolds J N, Wickens J R. Dopamine-dependent plasticity of corticostriatal synapses. Neural Netw, 2002, 15: Fino E, Glowinski J, Venance L. Bidirectional activity-dependent plasticity at corticostriatal synapses. J Neurosci, 2005, 25: Pawlak V, Kerr J N D. Dopamine receptor activation is required for corticostriatal spike-timing-dependent plasticity. J Neurosci, 2008, 28: Petersen C, Malenka R, Nicoll r, et al. All-or-none potentiation at CA3-CA1 synapses. Proc Natl Acad Sci USA. 1998, 95: Fusi S. Hebbian spike-driven synaptic plasticity for learning patterns of mean firing rates. Biol Cybern, 2002, 87: Fusi S, Asaad W F, Miller E K, et al. A neural circuit model of flexible sensorimotor mapping: Learning and forgetting on multiple timescales. Neuron, 2007, 54: Seung H S. Learning in spiking neural networks by reinforcement of stochastic synaptic transmission. Neuron, 2003, 40: Florian R V. Reinforcement learning through modulation of spike-timing-dependent synaptic plasticity. Neural Computation, 2007, 19: Izhikevich E M. Solving the distal reward problem through linkage of STDP and dopamine signaling. Cereb Cortex, 2007, 17: Sugrue L P, Corrado G S, Newsome W T. Matching behavior and the representation of value in the parietal cortex. Science, 2004, 304: 附录 τ 正文中描述决策回路的动力学方程为 : ds A Y SA SA γ w JeSA JiSB I0 IA dt ds τ dt = + (1 ) Φ( ( ) + + ), B Y SB SB γ w JeSB JiSA I0 IB 其中, (27) = + (1 ) Φ( ( ) + + ). (28) αx β Φ ( x) =. (29) 1 exp[ ρ( αx β)] 决策回路表现出胜者独享和持续活性的特征, 而要获得这样的特征, 构成决策回路的非线性方程的参数必须设定在一个合适的范围. 为了研究方程的参数对决策回路动力学性质的影响, 利用研究非 [1] 线性动力学方程的常用工具得到以上决策回路的相图和分叉图, 分析方程的关键参数与方程动力学 特性的关系 ( 使用 XPPAUT 得到相图与分叉图 ). 通过仿真可以得到, 决策回路中选择目标的概率与输入突触强度的差值之间为 Sigmoid 函数关系 ( 正文第 2.1 小节 ). 由于决策回路是一个非线性的动力学方程, 不能直接利用解析的办法得到方程的解. 但可以利用决策方程与一维扩散过程等价这一结论, 间接的得到选择概率与突触强度差之间的函数关系. 一决策回路的动力学特性分析决策方程是一个二维动力学方程, 为了分析其动力学特性, 首先在相平面确定该方程的平衡点集 (Nullcline). 由方程 (1) 和 (2), 设定 ds A / dt = 0 和 ds B / dt = 0, 然后在相平面 ( 横坐标 S A, 纵坐标 S B ) 画出 S A 与 S B 的变化曲线, 称这两条曲线为动力学方程的 Nullcline, 它们之间的交点为动力学系统的平衡点, 由 Nullcline 相交的方式可以确定系统平衡点的稳定性 [1]. 792

11 中国科学 C 辑 : 生命科学 2009 年第 39 卷第 8 期 从决策回路的方程可以看出, 对其动力学性质有重要影响的参数是外界的输入和决策回路内部突触的耦合强度 w. 下面分别讨论这些参数对决策回路动力学特性的影响. 首先假定外界刺激对神经元群体 A 和 B 的偏好相等, 即 I A =I B, 外界输入的变化主要体现在背景输入值 I 0 的不同. 在外界输入和内部突触耦合强度较低时, 决策系统只有一个对称的稳定点 ( 图 1(A)), 即神经元群体 A 和 B 都处于较低且相等的电活性, 类似于群体的神经元处于自发动作电位的状态. 如果决策回路内部突触耦合强度增大, 这时外界输入增大后会使得决策系统在原来对称的稳定点两侧出现不对称的两个稳定点 ( 图 1(B)), 这两 个稳定点对应于外界刺激可能的分类. 进一步增大外界输入会使得原来对称的稳定点消失, 从而出现不稳定的平衡点, 这个不稳定平衡点的性质与鞍点类似 ( 图 1(C)). 此时决策系统具有两个非对称的双稳态, 也就是神经元群体 A 和 B 相互竞争之后系统要么处于神经元群体 A 具有高活性的稳定状态, 要么处于神经元群体 B 具有高活性的稳定状态, 即决策系统表现出胜者独享这一特性. 如果再进一步增大外界输入, 从图中可以发现决策系统再次出现对称的稳定点, 这一对称的稳定点的活性比神经元群体自发状态时的对称稳定点高 ( 图 1(D)). 图 1 中 w=1, I 0 从图 1(A)~(D) 分别为 , , 和 , 图 1 背景输入对相轨迹的影响 实心点为稳定的平衡点, 空心点为非稳定的平衡点 793

12 程振波等 : 简单贝叶斯决策的计算神经模型 其他参数的设置见正文. 决策回路内部突触的耦合强度同样对决策回路的动力学特性有重要影响, 可以通过设定突触耦合强度的不同值得到相应的分叉图, 从而分析决策回路的动力学性质的变化. 当耦合强度值较小时 w=0.7, 决策系统仅有对称的稳定点, 即决策系统稳定后神经元群体 A 和 B 的活性相等, 因此决策系统不能作出最后的决策 ( 图 2(A)). 当耦合强度增大后 w=0.85, 此时决策系统出现了不对称的平衡点, 因此决策系统可以作决策. 然而, 此时从分叉图可以看出, 当决策回路没有外界刺激时 ( 参数 μ 0 = 0 ), 决策系统只有对称的稳定点, 即神经元群体 A 和 B 在根据外界刺激作出判断后, 如果外界刺激消失, 群体 A 和 B 的活性将相等, 也就是说决策回路会丢失之前判断结果的信息 ( 图 2(B)). 而当设定一个合理耦合强度 w=1, 决策回路不仅有非对称的平衡点, 而且在外界刺激消失后仍然会保留之前决策结果的信息, 即持续活 性, 这一特性类似于工作记忆的机制 ( 图 2(C)), 本研究决策方程选取的参数均能产生该分叉图. 当耦合强度过大时 w=1.2, 尽管一定的输入条件会产生非对称的平衡点, 但此时非对称的平衡点不稳定, 因此决策回路不能作出决策 ( 图 2(D)). 在设定合理的突触耦合强度与背景输入后, 通过在相平面中增加方向场进一步考察决策回路神经元群体 A 和 B 的不同偏好对决策回路动力学性质的影响, 也就是和群体 A 和 B 对应的输入突触强度的不同引起的决策回路动力学性质的变化. 相图左上角的稳定点对应群体 B 在决策过程中获得胜利后的稳定状态, 随着群体 B 对应的输入突触强度的增加, 收敛至群体 B 对应稳定点的区域逐渐增大. 根据某个外界刺激, 如果选择目标 B 获得奖励的概率高, 则意味着与群体 B 对应的输入突触的强度值大, 这时随着决策回路收敛至群体 B 对应稳定点的区域变大, 决策回路作出正确判断的可能性也增大. 当输入突 图 2 系统分叉图 实线为稳定的平衡态, 虚线为鞍点平衡态. 纵坐标为参数 μ 0 794

13 中国科学 C 辑 : 生命科学 2009 年第 39 卷第 8 期 触差超过某个阈值时, 决策系统将总是收敛到某个稳定点, 决策结果不受噪声的影响, 即决策回路总是能作出正确的选择. 图中输入突触强度的差值依次为 0, 0.5 和 1. 因此, 从这个具有方向场的相平面图可以直观的理解输入突触强度的差值与选择概率之间的关系. 二决策概率与输入突触强度差值之间的关系由以上的分叉分析可知决策系统在沿着稳定流形至鞍点后, 将从鞍点沿着非稳定流形收敛至对应于不同决策结果的某一非对称稳定点, 即决策系统表现出胜者独享的特性. Zhou [5] 等通过分析和仿真证明以上动力学方程在鞍点附近沿着不稳定流形变化时等价于一维扩散过程 ( 更为一般的证明见 [2] ), dy = θdt + σdw, (30) 其中, θ = I A I B w A w B, 决策变量 Y = S A S B, dy 表示在一个微小的时间间隔变量 Y 的变化, 变化量包括扩散项 θdt 和噪声项 σdw t 两部分. 扩散项表示支持正确选择的证据的平均变化值, 如果目标 A 为正确选项则 θ > 0, 如果目标 B 为正确选项则 θ < 0. 噪声是均值为 0, 标准差为 σ 的高斯白噪声. 扩散模型下的决策过程可看作为一个初始位置在圆点的粒子的随机游走, 粒子随着噪声和输入证据的影响而上下游走, 当其运动轨迹的纵坐标值 Y 首次达到固定阈值 +C 或 C 时停止游走并作出选择, 达到 +C 意味着选择目标 A, C 意味着选择目标 B. 尽管粒子的游走方向平均而言总是向着获得正确选择的阈值 方向游走, 但由于噪声的影响, 粒子也有可能游走至导致错误选择的阈值方向 [3]. 假设 Y 1, Y 2,, Y n 表示粒子的运动轨迹, 决策变量 Y n 的值由一组独立同分布的随机数 X 1, X 2,, X n 决定, 即 n Y n = X i. (31) 产生随机数序列 X 1, X 2,, X n 的是均值为 μ= θ/2 m, 方差为 1 的高斯过程. 令 YT 为随机过程 {Y i } 首次达到决策阈值的值, 下标 T 为首次达到决策阈值的时间, T 是一随机变量, 变量上的小波浪线表示该变量为停时变量. 选择目标 A( Y T =+C ) 的概率为 P A, 选择目标 B( Y T = C ) 的概率为 P B = 1 P A. 因此, 可以求得 YT 的矩母函数为 i=1 ψ Y T (θ) = E[e θ Y T ] = P A e θc + (1 P A )e θc. (32) 为了求得 P A, 需要借助鞅的有关理论. 定义 1, 设 {Y n, n 0} 是马尔可夫过程, 其转移概率矩阵为 P=(p ij ). 如果对某个值 λ 有 λ f (i) = p ij f ( j), i S. (33) j S 其中 S 为马尔可夫过程的状态集. 称 λ 为转移概率矩阵 P 的特征值, 称向量 f=(f(0), f(1),, f(i), ) 为转移概率矩阵 P 的特征向量. 引理 1, 随机过程 { Xn, n 0} 关于马尔可夫过程 { Yn, n 0} 是鞅, 如果 X n = λ n f (Y n ), 其中 λ 与 f 是马尔可夫过程转移概率矩阵的特征值与特征向量. 图 3 输入突触强度的不同改变系统的决策结果 795

14 程振波等 : 简单贝叶斯决策的计算神经模型 证明, 因为 图 4 决策的扩散模型 E[X n+1 Y 0,Y 1, Y n ] = E[λ n 1 f (Y n+1 ) Y 0,Y 1, Y n ] = λ n 1 E[ f (Y n+1 ) Y 0,Y 1, Y n ] = λ n 1 [ f ( j)p ] Yn j j S = λ n f (Y n ) = X n (34) 推论 1, 马尔可夫过程 {Y n, n 0}, 具有转移分 布函数 F(y z) = P{Y n+1 y Y n = z}, 如果对于所有的 n, 有 λ f (y) = f (z)df(z y), (35) 则 {X n = λ n f (Y n ), n 0} 关于 {Y n, n 0} 是鞅. 证明过 程与引理 1 类似. 推论 2: 独立同分布的随机变量序列 X 1, X 2,, X n, 其矩母函数为 ψ X (θ) = E[e θx ], 则随机过程 {Z n, n 0} 关于 {Y n, n 0} 是鞅, 其中 Y n = X 1 + X 2 + X n, eθy n Z n = ψ n X (θ). (36) 证明 : 由于 X 1, X 2,, X n 独立同分布, 因此 {Y n, n 0} 为马尔可夫过程. 若 G 是 X n 的分布函数, 则有 P{Y n+1 x Y n = y} = G(x y), 因此 e θx dg(x y) = e θy e θζ dg(ζ ) = e θy ψ (θ). (37) 也就是 {Y n, n 0} 的特征函数为 e θy, 对应的特征向量为 ψ (θ). 由推论 1 的结论知 {Z n, n 0} 是鞅. 引理 2: 相互独立随机变量和的矩母函数等于它 们各自矩母函数的积. 证明 : 假设随机变量 X 与 Y 相互独立, 因此有 ψ X+Y (θ) = E[e θ ( X+Y ) ] = E[e θx e θy ] = E[e θx ]E[e θy ] = ψ X (θ)ψ Y (θ). (38) 引理 3: 服从正态分布 N(μ,σ 2 ) 的随机变量 X 的 矩母函数 ψ X (t) = exp σ 2 t μt. (39) 证明 : 先计算标准正态随机变量 Z 的矩母函数, ψ Z (t) = E[e tz ] = = 1 2π = e t 2 /2 1 2π 1 2π + + e (x2 2tx)/2 e tx e x2 /2 dx dx + e (x t )2 /2 dx. (40) = e t 2 /2 因为 Z 为标准正态随机变量, X = σ Z + μ 是服从 N(μ,σ 2 ) 的正态随机变量, 因此有 ψ X (t) = E[e tx ] = E[e t (σz+μ) ] = e tμ E[e tσ Z ]. (41) = exp σ 2 t μt 有了以上引理和推论后, 便可计算选择目标的概率表达式. 假设 Y n 达到决策阈值时, Z 的值也不在发生变化, 令 Z 表示 Z 的停时. 由于随机过程 {Z n, n 0} 是鞅, 则由停时定理 [4], 有 E[ Z] = E[Z n ] = E[ψ n X (θ)e θy n ] = ψ n X (θ)e[e θy n ] (42) = ψ n X (θ)ψ Yn (θ) = ψ n X (θ)ψ n X (θ) ( 擆刻 2) = 1 产生 X 1, X 2,, X n 的是均值为 μ = θ /2, 方差为 1 的高斯过程, 由引理 3 知其矩母函数为 ψ X (θ) = e θμ+ 1 2 θ 2 = 1. (43) 796

15 中国科学 C 辑 : 生命科学 2009 年第 39 卷第 8 期 n Y 因此, 由 EZ [ ] = E[ ψ ( θ) e θ ] = 1, 可得 E[e θ Y ] =1. 也就是 由式 (18), 不难得到 X E[e θ Y ] = P A e θc + (1 P A )e θc = 1. (44) P θc θc 1 e 1 e = = θ θ θ θ θ e e e ( e + 1)( e 1). (45) 1 = θc 1 + e A C C C C C 因此, 选择目标 A 的概率与突触强度差值为 Sigmoid 函数关系. 参考文献 1 Strogatz S. Nonlinear Dynamics and Chaos: With Applications to Physics, Biology. New York:Perseus Books Group, Roxin A, Ledberg A. Neurobiological models of two-choice decision making can be reduced to a one-dimensional Nonlinear diffusion equation. PLoS Comput Biol, 2008, 4(3): e Shadlen M N, Hanks T, Churchland A, et al. The speed and accuracy of a simple perceptual decision: a mathematical primer. Doya K, Ishii S, Rao R, et al. Bayesian Brain: Probabilistic Approaches to Neural Coding. Cambridge: MIT Press, 林元烈. 应用随机过程. 北京 : 清华大学出版社, Zhou X, Wong K F, Holmes P. Time-varying perturbations can distinguish among integrate-to-threshold models for perceptual decision-making in reaction time tasks. Neural Computation, 2009, 21(8):