Biotechnology Frontier April 2015, Volume 4, Issue 1, PP.1-14
The Hippocampal Spatial Cognitive Mechanism and Its Application in the Biomimetic Robot Navigation Naigong Yu 1,2, Ti Li 1,2#, Lue Fang 1,2 1. College of Electronic and Control Engineering, Beijing University of Technology, 100000, Beijing 100022, China 2. Beijing Key Laboratory of Computational Intelligence and Intelligent System, Beijing 100124, China #
Email: bgdliti@163.com
Abstract The hippocampus has been considered as a key structure of brain to cognize the spatial environment. In accordance with the function of the hippocampal spatial cell and the hippocampal information transmission circuit, constructing the model of robot navigation based on cognitive mechanism of hippocampus is a hotspot and difficulty at present research of bionic robot navigation. The paper reviews the mechanism of hippocampus in the process of environment cognition, and then summarizes the research progress of the biomimetic robot navigation model which based of the hippocampal spatial cognitive mechanism, finally discusses the new research direction of robot navigation model which is the imitation of the hippocampal cognitive mechanism. Keywords: Hippocampus; Cognitive Mechanism; Spatial Cell; Robot Navigation
海马空间认知机理及其在仿生机器人 导航中的应用* 于乃功 1,2，李倜 1,2，方略 1,2 1. 北京工业大学 电子信息与控制工程学院，北京 100022 2.计算智能与智能系统北京市重点实验室，北京 100124 摘
要：海马结构已被认为是脑内进行空间环境认知的关键结构。依照海马结构中空间细胞的功能和信息传递回路，构
建基于海马认知机理的机器人导航模型是目前仿生机器人导航研究的热点与难点。文章综述了海马在环境认知过程中的 作用机理，总结了仿海马机器人导航模型的研究进展，最后探讨了仿海马认知机理的机器人导航模型研究的新方向。 关键词：海马结构；认知机理；空间细胞；机器人导航
引言 模仿大脑快速高效的认知和信息处理一直是人工智能领域的核心挑战。研究哺乳动物（通常以老鼠为研 究对象）的环境认知和导航行为机理，构建智能技术系统，并将这种系统运用于机器人，赋予机器人感知和 认知能力，包括记忆和学习的行为能力，使机器人能够更加智能化的处理复杂的任务，更好的为人类服务， 是人工智能研究的宗旨。研究表明哺乳动物海马结构是空间认知的核心脑区，在陈述性记忆和空间导航方面 有着重要作用。 快速准确的面向预定目标位置的导航（如：归巢和觅食）是高等动物赖以生存的一个重要能力。生物学 上以老鼠为研究对象，发现老鼠在经过少量的学习试验后，能够摆脱不适应的环境，如水迷宫环境，找到视 *
基金资助：受国家自然科学基金项目支持资助（基金号 61075110） 。 -1http://www.ivypub.org/bf
野之外的隐藏平台[1-3]，而损伤了海马(hippocampus)[4]、后下托(postsubiculum)[5]或内嗅皮层(entorhinal cortex)[6] 的老鼠则不能有效的在水迷宫环境中找到隐藏平台。要实现在未知环境中的有效导航运动，首要条件是对环 境实现认知，啮齿类动物（如：老鼠）在空间环境的活动被认为能形成代表空间环境的认知地图(cognitive map)[7]。当老鼠在空间环境中活动时，记录这些区域中的神经元的放电活动，人们发现了一系列与空间表达 相关的细胞（如图 1 所示） 。1971 年，O‟Keefe 和 Dostrovsky 发现海马中的椎体神经元(pyramidal neurons)有 着复杂的峰电位活动，这种放电活动具有位置选择性，动物处于一个特定的空间位置时，特定的椎体神经元 的放电频率会发生变化，这种神经元被称为位置细胞(place cell)，其放电活动对应的动物在环境中的活动范围 被称为位置野(place field)[8]，位置细胞建立了脑区和外界物理世界的映射关系[9]，是构成认知地图的基础[10]； 1990 年，Taube 等人在后下托中发现了一种头方向依赖的神经元，当动物的头部面向特定方向时，这种神经 元发生最大放电，被称为头朝向细胞(head direction cell)[11-12]；2005 年 Hafting[13]等人通过变换试验箱的大小 和形状，发现了对空间具体位置具有强烈放电的网格细胞(grid cell)，当老鼠在二维空间中活动时，网格细胞 在特定的位置发生重复性规律放电，这个空间范围称为网格细胞的网格野(grid field)，多个激活区域相连形成 的三角形激活域遍布老鼠经过的整个空间环境[13-15]；早在 1996 年，O'Keefe 和 Burgess 就在实验中发现，当 改变老鼠运动的空间位置的大小时，位置野所对应的空间区域也会等倍地往环境边缘平移[16]，为了解释这一 现象，O'Keefe 和 Burgess 预测，大脑存在着一种细胞，能对环境的边界轮廓产生响应，能反应距离边界不同 距离和不同角度的相对位置，这种细胞称为边界细胞(border cell，又叫 boundary vector cell)，2008 年多个实 验室相继发表文章说明，在内嗅皮层的浅皮层中发现了边界细胞[17-18]。
图 1 空间细胞的基本原理。A、C、D 中的左图是放电率图（红色表示放电率最大，蓝色表示最小） ，B 中左图表示方向细胞极 坐标图，该方向细胞在东南方向放电率最大；右图是轨迹放电率图，其中黑色线表示老鼠运动轨迹，绿色点表示放电率。
海马中的位置细胞、内嗅皮层中的网格细胞和边界细胞、存在于多个脑区的头朝向细胞的发现，以及各 种海马认知理论的提出和海马结构神经网络的构建，使科学家们对哺乳动物（包括人类）空间认知机理和导 航机理的认识越来越清晰
[19-20]
。 -2http://www.ivypub.org/bf
在生理学、行为学和和解剖学研究海马结构认知机理基础上，构建机器人导航模型，是目前仿生机器人 研究的热点和难点。文章旨在综述海马空间认知机理及其在仿生机器人导航中应用的进展，以图更好的进行 仿海马机器人导航研究。第一节对海马认知机理的研究进行了综述；第二节综述了空间表达的相关模型机制； 第三节详细介绍了一些代表性的模型，综述了仿海马机器人导航模型的研究进展，文章最后探讨了仿海马认 知机理的机器人导航模型研究的新趋势。
1 海马的认知机理研究 1.1 海马的解剖学结构和信息传递回路 1.1.1
海马的解剖学结构
老鼠(Rat)的海马体(Hippocampal Formation)是哺乳类动物大脑皮层中被最为详细研究过的一个部位，其 剖面图如图 2 所示，从解剖结构上看由齿状回(Dentate Gyrus, DG)、海马区(Hippocampus Proper)、下托综合 体(Subiculum Complex, SUB)和嗅皮质(Entorhinal Cortex, EC)构成[21]。海马区由海马角(Cornu Ammonis, CA) 区域 CA1 和 CA3 组成（由于 CA2 和 CA4 很少被提及和认可，在此不作讨论） ；下托综合体可进一步分为下 托(Subiculum, SUB)、前下托(Presubiculum, PRE)、傍下托(Parasubiculum, PATA)和后下托(Postsubiculum,POS)； 其中，齿状回、海马区和下托的细胞层为单层，其上下夹有低细胞密度层和无细胞层，其它部位由复数的层 面构成。内嗅皮质共有六层，可进一步细分为浅层和深层皮质，从复数层细胞的内外结构的角度也可以划分 为外侧嗅皮层(Lateral Entorhinal Cortex, LEC)和内侧嗅皮层(Medial Entorhinal Cortex, MEC)[22]。
图 2 海马的剖面图[23]
1.1.2
海马信息传递回路
大脑信息处理过程中，联合皮层的信息首先传入到内侧颞叶中的内嗅皮层，内嗅皮层对信息进行加工， 而后传入到海马进行处理 [24] 。神经解剖学研究发现海马结构中有着典型的三突触通路(classic trisynaptic pathway)，即：内嗅皮层投射到齿状回，齿状回投射到 CA3 区，CA3 区投射到 CA1 区[25]；内嗅皮层和海马 之间存在着双向纤维投射，内嗅皮层第Ⅱ层投射到海马齿状回和 CA3 区，经过神经元换元到达海马 CA1 区； 第Ⅲ层的信息直接投射到 CA1 和下托。经过纤维投射和神经元换元，CA1 区和下托又将海马的输出信息投 射到嗅皮层第Ⅴ层和第Ⅲ层，形成一个环路[26]；此外，也有着其他的信息传递通路：从下托(Sb)分别投射到 前下托(PreSb)和旁下托(ParaSb)，前下托投射到内侧嗅皮层，旁下托分别投射到内侧和外侧嗅皮层；CA3 区 的椎体神经元除了前向投射到 CA1 区以外，其椎体神经元之间还存在着递归连接(recurrent collaterals)，老鼠 的嗅后皮层(Postrhinal cortex)类似于灵长类动物的旁海马皮层(parahippocampal cortex)，与视觉处理流程相关， 嗅后皮层和嗅前皮层存在着平行通路投射到内嗅皮层和下托。内嗅皮层到 CA 区和下托的通路被称为穿通通 路(perforant pathway)；齿状回到 CA3 的通路被称为苔藓纤维投射(mossy fiber projection)；CA3 到 CA1 的通 路被称为谢弗脉络(Schaffer collaterals)。海马信息传递示意图如图 3 所示。 -3http://www.ivypub.org/bf
图 3 海马信息传递示意图
1.2 空间细胞的信息传递机制 局部空间能够被海马中的一系列功能性的空间细胞所表示，形成代表空间位置的认知地图，这些空间细 胞主要有位置细胞、头朝向细胞、网格细胞和边界细胞，当前对海马研究的一个重要主题就是海马结构中的 不同类型的空间细胞的信息传递机制。 解剖学研究证明，头朝向细胞存在于大脑的多个脑区中，海马结构的前下托[27]和内嗅皮层[28]中均存在着 头朝向细胞，海马中的位置细胞表征的空间环境信息与实际环境中的空间信息是不同的，这表明信息在海马 的上游皮质中已经被处理了，Witter 等人[25]研究证实，位置细胞从内嗅皮层获得了绝大多数的皮层输入信息， 空间信息被认为主要来源于内侧嗅皮层(MEC)[29-31]。 已有许多模型解释了位置细胞的形成机制，放电野有着不同网格间距的网格细胞通过傅里叶变换，线性 组合成为有个非周期性、空间特异性放电的位置细胞放电野[32-35]。然而，最近的生物学研究显示，在幼鼠在 出生第 2.5 周第一次离巢时，这些空间细胞就可以显示出对外界环境的一个功能性的地图，此时，幼鼠的位 置细胞有着与成年鼠一样的位置野，而内嗅皮层网格细胞直到第 4 周才能显示出不规则的、可视化的放电野， 这说明幼鼠的位置细胞接受了来自其他空间细胞的空间信息输入[36-37]，Tale L. Bjerknes 等人[38]进一步研究表 明，头朝向细胞自幼鼠出生就能产生头方向依赖性放电，内嗅皮层边界细胞在幼鼠第一次离巢时就能产生空 间特异性放电，这两种细胞可能是幼鼠位置野形成的主要输入信息源。 光遗传学技术(optogenetic technique)的出现，在观察海马区细胞响应的基础上进一步证实了，所有的上游 空间细胞（即：网格细胞、头朝向细胞和边界细胞）均为位置细胞的响应提供了空间信息输入[39]，但在神经 网格并未发育前，边界细胞给位置细胞提供了最可靠的空间信息输入，而对成年动物观察表明，边界细胞只 有在网格细胞受损的情况下，才会给位置细胞提供足够的空间信息[40]。 在生物学、行为学和解剖学研究的基础上，科学家对海马的空间表达机理提出了一系列相关理论和神经 网络模型。
2 空间表达相关模型 行为学研究发现，动物能够利用自运动线索保持相对于环境重要位置（如：巢穴）的矢量关系[41]，并将 空间中的各个位点的信息进行计算和整合，使这种矢量关系不断得到更新，这一过程被称为路径积分(path integration)。研究认为海马结构是构成这种内部整合机制的脑区，这种整合机制使大脑不仅能表达相对的矢 量关系，而且能根据自运动线索和初始相对位置信息在海马中对空间进行认知地图表达[34][42-43]，并且可以在 不依赖外界线索的条件下实现路径的计算。海马结构中的空间细胞单个神经元的空间响应为神经编码提供了 潜在的基础变量，如：位置、速度和方向。智能技术系统想要模仿这种内部表达机制，则需要利用相应的计 算模型去进行空间表达，这种计算模型需要理解空间编码的方式，在这种方式中，空间信息可能由更基本的 信号编码。计算模型需要理解这些信号如何相互作用并与非空间信号相结合去产生更复杂行为的方式。海马 -4http://www.ivypub.org/bf
空间表达中一类重要的计算模型就是吸引子(attractors)模型。
2.1 空间表达的吸引子模型 Marr[44]提出，CA3 椎体神经元的递归连接构成了联想记忆系统，系统中突触可塑性假设为 CA3 的细胞 群能因为一个特殊刺激而共同发放(cells that fire together, wire together)，依据这个假设，网络初始化时若干个 细胞群的发放将会使相邻的细胞群发放，最终会使整个网络因为初始输入而发放，自组织的形成一个代表网 络的初始刺激的稳定的存储状态，这个稳定状态被称为吸引子。一种特殊状态的吸引子被称为连续吸引子 (continuous attractor)，这种稳定状态不是离散的，而是一种连续的流形(manifold)，在海马模型中，这种状态 是对连续变量（如：位置、速度和方向信息）的一种理想表达。 连续吸引子模型被用于头朝向细胞建模[45]和位置细胞的路径积分研究[46-47]中。其中，头朝向细胞被建模 成环状吸引子，如图 4[34]所示，每一个头朝向细胞与周围的细胞有着强烈的兴奋性连接，连接强度是头朝向 细胞优先方向角差的函数，兴奋性连接的相互作用形成的活动包(activity bump)代表当前的头朝向，来自前庭 系统的角速度输入的积分使头朝向细胞连接强度产生相应的不对称变化，驱使活动包沿着环状模型平滑移 动，代表了头朝向的变化。
图 4 一维头朝向细胞的环状吸引子模型；图 a 所示：外围的头朝向细胞组成一个相互连接的圆环，每一个细胞与周围的细胞有 着强烈的兴奋性连接，这种连接强度随着距离的增加而减弱，兴奋性连接的相互作用形成活动包代表当前时刻的头朝向。图 b 所示：引入中间层联合细胞层，其接受来自于老鼠的头朝向细胞的输入，并反向投射到头朝向细胞。头朝向细胞接收到有偏也 就是不对称的头朝向输入，表示老鼠头朝向转动方向，生成代表下一时刻头朝向的活动包。顺时针旋转和逆时针旋转如图 b 第 一列所示。
二维平面的连续吸引子模型主要表征的是平面的位置信息。如图 5 所示，二维的连续吸引子网络能由分 布在二维平面上的有着递归突触连接的神经元构成，神经元相互作用形成墨西哥帽形状(Mexican-hat)的活动 包，神经元兴奋性连接强度随着距离的增大而减小，全局的反馈抑制将会阻止局部兴奋性信息随机扩散[46-47]， 位移矢量通过速度和方向信息的积分编码位置信息，以活动包进行表征，位移矢量和位置信息共同编码了老 鼠下一刻的移动位置信息。 有着吸引子特性的局部网络模型(local circuits)同样可以用于解释网格野的形成机理。早期的网格细胞吸 引子模型[34][48]也是由墨西哥帽连接的兴奋性神经元形成的，即：有着相同网格相位的网格细胞有着强烈兴奋 性连接，相位差越大，连接越弱。模型的有效性依赖于假设网格细胞确实存在着兴奋性的递归连接。然而， 对内嗅皮层第二层网格细胞的切片研究显示，几乎所有的网格细胞的双向连接都是抑制性的[49]。Burak 等人 [50]
依据抑制网络的相互作用形成了网格细胞六边形的放电野，其原理是：有着相同的空间相位的网格细胞抑
制作用弱，相位相差越大，抑制作用越强。 另一类空间表达模型是振荡干涉模型(oscillatory interference model)。 -5http://www.ivypub.org/bf
图 5 二维平面的连续吸引子模型平面连续吸引子路径积分模型，如图 a 所示，红色的箭头所示处代表吸引子，连接权值随着与 相邻的细胞的距离增加而递减;图 b 所示，吸引子层中吸引子投射到隐藏层中有着相同位置偏向的细胞（图中第 3 层） ，隐藏层 中老鼠的头朝向信息和速度信息与由连续吸引子层编码的位置信息求和，头朝向信息和速度信息以群编码的方式反映整个网络 偏移方向和位置，并反向投射到吸引子层，吸引子层在特定的方向上就有了一个累积的位置改变，代表下一时刻的位置。
2.2 空间表达的振荡干涉模型 振荡干涉模型关注的是网格细胞和位置细胞放电的时域特性(temporal properties)以及相应神经元的动作 电位与海马结构中 θ 脑电波节律性振荡的关系[51]。如图 6 所示，当动物经过位置野时，位置细胞的动作电位 以簇状的 burst 形式发放，第一簇总是在动物进入位置野时相对场电 theta 成分固定的相位发放，随着动物深 入该位置野，后面的每一簇动作电位的 theta 相位，都比前一簇稍微提前一点，当动物穿过位置野后，动作电 位的 theta 相位相比刚进入之时完全前进了一个 theta 周期， 这个现象被称作相位进动(phase precession)[52]。theta 振荡可能提供了一个周期性的时钟参考系统，如果记录到多个位置细胞放电信号，则可以根据其发放动作电 位与否以及动作电位的相关 theta 相位的知道动物所在环境中的位置。这样，空间信息的表征就完全压缩到了 海马位置细胞活动的时间序列之上。
图 6 位置细胞相位进动示意图
位置细胞动作电位的空间相位源于局部电场位的 theta 波与位置细胞内在振荡相互干涉的结果，随后在网 格细胞中也发现了相位进动现象，并在鼠脑内嗅皮层观测到网格细胞有着局部阈下膜电位振荡，这种振荡频 率处于 theta 波频率范围。几乎所有的解释内嗅皮层网格细胞形成机制的模型都是利用速度调节的输入信号的 路 径 积 分 表 征 周 期 性 的 网 格 野 ， 而 其 他 的 传 感 输 入 只 是 用 于 设 定 初 始 的 网 格 的 相 位 (phase) 和 定 向 (orientation)[19][53] （图 7A 所示） 。 相对恒定的 theta 振荡和其他内在或外在的速度调节的 theta 振荡子(oscillators) 相互干涉能形成网格细胞的周期性放电野，内在或外在的速度调节的振荡子受动物朝优先方向的瞬时速度调 节，这种膜电位振荡干涉使有着相同朝向的速度控制振荡子形成带状活动形式，优先方向相差 60°的带状模 型相互作用，形成六边形放电野[54-56]，如图 7B 所示。 -6http://www.ivypub.org/bf
图 7 网格细胞放电野的基本特征和振荡干涉模型。如图 A 中所示是网格细胞放电野的三个特征：相位（phase）、间距（spacing）、 定向（orientation） ，相位表示网格细胞放电野的相对位置用（X0，Y0）表示，间距表示两个放电点中心距离，用 R 表示，定 向是指放电中心相对朝向用α表示；图 B 所示，是三个速度调节的振荡子形成周期性放电网格野的示意图。
振荡干涉模型假设振荡子在优先方向上有着相同的规律性，为了获得网格细胞六边形放电野，人为的使 输入在优先方向上相差 60°，此外，在蝙蝠的内嗅皮层记录到了网格细胞周期性放电野，却并没有记录到有 theta 波和 theta 调节的阈下电位振荡，这说明不通过振荡干涉同样可以形成网格野[57]。那么空间表达的基础 机制到底是什么呢？
2.3 条纹细胞(stripe cell)，空间表达模型构建的基础机制 尽管海马结构已经被认为是空间位置编码的核心脑区，但人们对位置编码的基础机制却知之甚少。网格 细胞是大范围空间位置编码的主要输入，其空间周期性放电野为海马的认知地图提供了空间度量(spatial metric)信息，那么表达空间度量信息的基础机制是什么呢？ 波士顿大学的认知神经网络课题组，在研究网格细胞放电野信息传递问题时，提出了一种假设，即网格 细胞的基于路径积分的信息来源于条纹细胞(stripe cell)[58]。在他们提出的 GRIDSmap 模型中，假设存在的条 纹细胞被建模成环状的吸引子模型，类似于头朝向细胞，不同之处在于，头朝向细胞对角速度信息进行积分， 而条纹细胞却是对线速度信息进行积分，用于编码特定方向的位移。条纹细胞的放电野类似于平行的条纹状 覆盖在整个空间环境中，三个同时被激活的条纹细胞，各自的优先方向相差 60°时，能确定网格细胞有着最 大频率的放电节点，而这些相差 60°的条纹细胞集合共同确定了在该位置网格细胞二维空间中规律性的六边 形放电野。值得注意的是，这种条纹细胞与 Burguss[51]所描述的形成振荡干涉模型内在表达机制的带状细胞 (band cell)并不相同，条纹细胞使用环状吸引子网络去完成路径积分，与连续吸引子模型类似。 2012 年，O‟Keefe 等人在 Science 上的文章[59]证实在旁下托和内嗅皮层中发现了有空间周期性条纹状的 放电野的细胞存在，从生理学的角度证实了条纹细胞的存在，并认为网格细胞是完成路径积分的基础机制。 建立空间细胞计算模型，依据海马空间细胞的信息传递机制，构建空间细胞神经网络模型，是构建仿海 马认知机理的机器人导航模型的基础。
3 仿海马认知机理的机器人导航模型 现阶段基于鼠脑海马环境认知机理的机器人导航研究主要有两个方面，一种是基于海马解剖学结构和空 间细胞的认知机理，构建神经网络模型，用于移动机器人自主导航，并搭载仿大鼠脑神经系统的移动机器人； 另一种是基于鼠脑海马神经行为学的机器人实时定位与地图构建(simultaneous localization and mapping)。
3.1 基于神经行为学的实时定位与地图构建 实时定位与地图构建(SLAM)描述的是移动机器人在构建空间环境地图时，同时利用地图进行定位活动 [60]
，SLAM 实现的关键在于数据关联(data association)和感知模糊(perceptual ambiguity)[61]。数据关联涉及在两 -7http://www.ivypub.org/bf
个不同的时间点观察到的两个特征是否对应于物理世界中的相同的物体或位置；感知模糊是指在相同的视觉 模式的环境中，区分不同的位置时所出现的辨别误差的现象。行为学观察表明，老鼠同样也依赖于正确的数 据联合或位置识别去解决空间任务[62]。 澳 大 利 亚 昆 士 兰 大 学 的 “RatSLAM” 课 题 组 对 仿 海 马 体 的 环 境 认 知 计 算 神 经 行 为 学 (Computational Neuroethology, CNE)模型得到了广泛和深入的研究，提出的一种成熟的基于海马的实时定位与地图构建方法， 该方法主要模仿了大鼠的神经行为学特征，而不是完全基于大鼠脑海马的解剖结构和生理学特性[63]。
图 8 RatSLAM 算法的主要结构
RatSLAM 算法的主要结构如图 8 所示，此算法核心部分被称作位姿细胞(pose cells)，位姿细胞通过在竞 争吸引子神经网络(competitive attractor neural network)中的活动来表达机器人的位置。编码器采集机器人运动 信息，通过位姿细胞活动的变化执行路径积分(path integration)功能。机器人视觉信息被转换到局部视图(local view LV)中，局部视图与位姿细胞存在一一对应关系，如果机器人所处的位置已经被记录，则由局部视图接 受视觉信息并处理，引起特定位姿细胞响应[64]。在 RatSLAM 算法中，环境信息以经验地图(Experience map) 的形式存储。经验地图产生环境的笛卡尔空间表达，结合外界传感器信息，位姿细胞响应可以排除冲突 (collisions)以及不连续的情况。利用此种空间表达方式机器人可以有效的执行目标记忆任务。经验地图算法 的前提是经验(experiences)和经验连接(inter-experience links)的创建和保持。经验的创建是用来表达位姿细胞 和局部视图网络的活动状态，该算法通过经验连接的方式学习行为、短时的空间信息[64-65]。实验证明该方法 可以实现面向室内、室外环境的在线实时定位与地图构建[66-67]。但这种模型没有足够的生理学依据，可扩展 性较差。
3.2 仿鼠脑海马结构和认知机理的导航模型 仿鼠脑海马认知机理的导航模型主要是依照鼠脑海马解剖学结构和空间细胞的相关特性及其信息传递 通路，构建相应的神经网络模型，模型能自主探索环境，形成对空间环境的认知，构建相应的认知地图，并 依据认知地图在复杂环境中实现无障碍运动。 Nicolas Cuperlier 等 2007 年提出的基于海马解剖学结构中信息传递回路的导航和路径规划模型[68]，模型 结构依据海马解剖学结构，结合位置细胞在特定位置选择性放电机理、位置野的稳定性和空间环境整体覆盖 性等特点构建。其具体流程为：首先利用机器人的广角摄像头获取全景图片，将其转化为梯度图，经高斯差 分滤波提取特征点，将特征点作为路标，每个特征点对应正北方向的角度即为方位角，由罗盘给出，随后的 算法中，方位角和路标共同确定当前时刻的位置细胞，当前时刻位置细胞和前一时刻位置细胞共同确定转移 矩阵，机器人在未知环境中探索时，不断形成转移矩阵，转移矩阵最后组成认知地图，转移矩阵和认知地图 共同决定运动变化矩阵，运动变换矩阵负责将运动命令发出。根据转移矩阵与竞争性网络的思想，Nicolas Cuperlier 又拓展了该模型[69-70]，使模型能在自学习的基础上，解决不同的空间导航问题。该模型虽然是基于 -8http://www.ivypub.org/bf
鼠脑海马的解剖学结构，却并没有考虑到网格细胞的特性，针对不同的空间导航问题，参数也需要人为进行 设定。 Erdem 和 Hasselmo 等 2012 年提出了基于空间细胞信息传递机理的导航模型[71]，如图 9 所示，其面向目 标的空间导航是由前向线性预见性轨迹探测(forward linear look-ahead probe of trajectories)实现，这种探测是有 头朝向细胞、网格细胞、位置细胞和前额叶皮质细胞构成的网络实现的。在未知环境中智能体(agent)能通过 随机探索逐渐的形成位置细胞地图，位置细胞地图构成了对探索环境的完整表达，在探索阶段之后，智能体 能够根据对目标位置的记忆，通过前向线性预见性轨迹探测在若干个候选的方向中选择下一个面向目标位置 的移动方向，面向目标的路径规划是由网格细胞的振荡干涉模型实现的，能够在前向线性预见性轨迹探测中 发现以前没有经历过的捷径。但是该模型由于振荡干涉模式的存在，鲁棒性不足，在探索阶段对当前位置补 充位置细胞的时间触发机制采用伪随机的方法(ad hoc pseudo-random)在循环迭代检测中，效率低下，且误差 容易累积。Hasselmo 实验室 2014 年针对该模型提出了分层的位置细胞地图结构[72]，改变了先前模型中单一 位置野表达位置带来的效率问题和噪声累积问题。但由于网格细胞震荡干涉模型在大环境中误差累积迅速的 缺点，物理实现不能很好实现真实空间中的导航。
图 9 基于空间细胞的面向目标的导航模型
Edelman(2008)设计了一种搭载仿神经系统的移动机器 NOMAD(Neurally Organized Mobile Adaptive Device, NOMAD)。其神经系统基于海马及其周围神经组织包括内嗅皮层等。机器人可以接收空间输入信息并 提供支持探索未知环境的导航信息。当 NOMAD 在现实环境中导航运动时，仿海马神经系统接受传感器获取 的时间域信号，整合这些信号并产生空间情景记忆[73]。 现阶段神经形态的硬件技术(http://colamn.plymouth.ac.uk/colamn-project/)，如：COLAMN 工程的发展，能 让大规模的脉冲(spike)神经网络出现哺乳动物层面的智能能力[74]，Giorgio 等人[75]依据海马结构构建了脉冲神经 网络认知结构，证明了神经网络和新的硬件结合能在一个虚拟和真实的环境中实现认知功能和预测能力。 随着新技术的出现，人类对海马功能的认识将会不断加深，可以预见会有更加准确的认知理论和更多的 神经网络模型将会出现，更多导航策略出现将极大的提示机器人的认知能力能使机器人导航策略更加丰富和 智能。 -9http://www.ivypub.org/bf
4 仿海马认知机理的机器人导航模型研究的新方向 动物在未知的环境中导航运动是探索性随机运动和面向目标移动的结合，在这一过程中，动物会采取三 种不同形式的导航策略——1)分类导航(taxon navigation)，2)paxic 导航，3)局域导航(locale navigation)[76]。分 类导航也被称为基于线索(cue-based)的导航策略，是动物依靠视觉信息，在自我为中心的坐标系统(egocentric coordinate)中寻找可视化的目标；paxic 导航是动物依据外界刺激触发的身体转向来编码轨迹，如在下一个拐 点右拐；局域导航又被称为基于位置的导航策略，是动物依靠空间上下文构建位置相关的内部认知地图，并 以此导航的一种策略，海马结构是形成这种导航策略的脑区[77]。 仿海马认知机理的机器人导航模型，为了克服速度和方向信息路径积分所引起的误差累积迅速，鲁棒性 不足的问题，近期和未来研究更加关注海马结构与其他脑区的结合研究以及多种导航模式的结合研究。
4.1 海马-前额叶皮层回路研究 尽管动物处于环境中一个狭小的区域（位置野）时海马神经元可以选择性的放电，构建认知地图，但是 这些放电并不能明确的说明动物下一步将会走向何方，将通过什么途径到达目的地。而海马与内侧前额皮层 (medial prefrontal cortex, mPFC)的动态联系才是正确预测未来行为关键因素[78]。 从神经解剖学来看，海马发出纤维后可以投射到伏核再到前额叶皮层形成通路，伏核壳部还可接受来自 中脑腹侧背盖区(VTA)的多巴胺能神经纤维的调节，并能与直接运动环路发生联系，前额叶皮质中奖励类神 经递质，如多巴胺，这种奖励调节机制构成了前额叶皮质中获取目标状态的行为模型的生理学基础。到达 NAC 的信息流携带了选择目标的相关信息，即有关动物目前所处的位置以及到达下一个位置（或逃避某个位 置）的动机的信息[79]。这样，海马的位置信息在 NAC 与其它信息整合后，通过运动环路，最终形成目标指 向行为。 Hasselmo 实验室提出的前向预见性轨迹模型(HiLAM)仿海马与前额叶皮层回路模型[71-72][80]，能自主认知 环境，并在认知的基础上找到达到目标位置的捷径。 探究海马与周边脑区的解剖学结构并以此构建仿生导航模型可能是未来研究的新方向之一。
4.2 多导航策略的研究 动物能利用多种方式进行导航，多导航策略的结合研究更符合生理学研究事实，位置导航策略和分类导 航策略的结合研究也是当前海马导航研究的热点。 RICARDO 等人[81]提出的分类导航和位置导航策略的组合模型，模型比单一的导航模型有着更好的鲁棒 性，能使模型在不同的空间环境下，选择更合适的导航策略。 Deepika 等人[82]将两种导航策略结合，构建了一种策略竞争机制，该模型证明了，在帕金森症状的情况 下，位置导航策略受限，该模型仍能达到很好的导航效果。 Erdem 等人 [80] 在近期的研究中，将 Hasselmo 实验室提出的分层的前向预见性轨迹模型(HiLAM)与 RatSLAM 模型结合，提出了一种在视觉环境下的仿海马导航模型，将解剖学、生理学与行为学研究相结合， 用于实际的机器人导航中，结果显示，该模型能在实际空间中自适应的获取轨迹信息，鲁棒性良好，并以最 优路径进行导航。 一直以来，对海马体功能的研究都集中在两个方面：一种认为海马能表达相关事件的时空上下文要素， 形成陈述性记忆；另一种是以空间细胞为代表的研究，认为海马的功能是通过路径积分进行空间导航。随着 非空间细胞，如时间细胞(time cell)[83-84]的发现，探索海马的记忆检索机制，试图使机器人在一个熟悉的环境 中，避免不必要的重复行为。将记忆检索与导航相结合[85-86]，也被认为是未来仿海马机器人导航模型研究的 新方向之一。 多导航策略的结合使机器人在导航方面更加类人，可以预见，将会是仿海马认知机理导航模型研究的另 -10http://www.ivypub.org/bf
一个新方向。
5 总结与展望 四十年来，海马的认知机理受到了广泛的关注，科学家们从各种角度对海马结构进行了研究，试图去理 解环境认知这一哺乳动物的基本技能，并通过计算机模拟哺乳动物特别是大鼠的环境认知机理，构建自主移 动机器人的环境认知及导航模型，取得了很多优秀成果，但现阶段的自主移动机器人对环境的认知能力和导 航能力还远远不及人和动物的水平，对海马认知机理的进一步研究将有助于提高自主移动机器人的智能水 平，使机器人更好地为人类服务。
REFERENCES [1] Morris, R. G. M., Garrud, P., Rawlins, J. N. P., & O‟Keefe, J. (1982). Place navigation impaired in rats with hippocampal lesions. Nature, 297(5868), 681-683 [2] Redish, A. D., & Touretzky, D. S. (1998). The role of the hippocampus in solving the Morris water maze. Neural Computation, 10(1), 73-111 [3] Steele, R. J., & Morris, R. G. M. (1999). Delay-dependent impairment of a matching to- place task with chronic and intrahippocampal infusion of the NMDA antagonist D-AP5. Hippocampus, 9(2), 118-136 [4] Pearce, A.D.L. Roberts and M. Good, “Hippocampal lesions disrupt navigation based on cognitive maps but not heading vectors”, Nature, 396, pp. 75-77, 1998 [5] Taube, J.S., Kesslak, J.P.&Cotman,C.W.(1992) Lesions of the rat postsubiculum impair performance on spatial tasks. Behav. Neural Biol., 57, 131-143 [6] Steffenach, H.-A., Witter, M., Moser, M.-B. & Moser, E.I. (2005) Spatial memory in the rat requires the dorsolateral band of the entorhinal cortex. Neuron, 45, 301-313 [7] Tolman, “Cognitive maps in rats and men”, Psychol. Rev., 55, pp. 189-208, 1948 [8] O‟Keefe J, Dostrovsky J. The Hippocampus as a Spatial Map. Preliminary Evidence from Unit Activity in the Freely-moving Rat[J]. Brain research, 1971, 34(1): 171-175 [9] Wagatsuma H, Yamaguchi Y. Neural dynamics of the cognitive map in the hippocampus[J]. Cognitive Neurodynamics, 2007, 1(2): 119-141 [10] O‟Keefe J, Nadel L (1978) The hippocampus as a cognitive map. Clarendon Press, New York [11] Taube, J.S., Muller, R.U. & Ranck, J.B. (1990a) Head-direction cells recorded from the postsubiculum in freely moving rats. II. Effects of environmental manipulations. J. Neurosci., 10, 436-447 [12] Taube, J. (1995) Head direction cells recorded in the anterior thalamic nuclei of freely moving rats. J. Neurosci., 15, 70-86 [13] Hafting T, et al. Microstructure of a Spatial Map in the Entorhinal Cortex[J]. Nature, 2005, 436(7052): 801-806 [14] Solstad T, Moser EI, Einevoll GT. 2006. From grid cells to place cells: A mathematical model. Hippocampus 16:1026-1031 [15] Moser, E.I. & Moser, M.-B. (2008) A metric for space. Hippocampus, 18, 1142-1156 [16] O'Keefe, J.; Burgess, N. (1996). "Geometric determinants of the place fields of hippocampal neurons". Nature381 (6581): 425-428 [17] SOLSTAD T, et al. Representation of geometric borders in the entorhinal cortex[J]. Science, 2008, 322(5909): 1865-1868 [18] Savelli, F., Yoganarasimha, D., and Knierim, J.J. (2008). Influence of boundary removal on the spatial representations of the medial entorhinal cortex. Hippocampus 18, 1270-1282 [19] Moser, E.I., Kropff, E., and Moser, M.-B. (2008). Place cells, grid cells, and the brain‟s spatial representation system. Annu. Rev. Neurosci. 31, 69-89 [20] Hartley T, Lever C, Burgess N, et al. Space in the brain: how the hippocampal formation supports spatial cognition[J]. Philosophical Transactions of the Royal Society B: Biological Sciences, 2014, 369(1635): 20120510 [21] Browning B. Biologically plausible spatial navigation for a mobile robot[D]. University of California, 2000 [22] Doherty A. 1999 MRC Centre for Synaptic Plasticity. Bristol, University of Bristol -11http://www.ivypub.org/bf
[23] Moser E I, Roudi Y, Witter M P, et al. Grid cells and cortical representation[J]. Nature Reviews Neuroscience, 2014 [24] Witter M P, Moser E I. Spatial representation and the architecture of the entorhinal cortex[J]. Trends in neurosciences, 2006, 29(12): 671-678 [25] Witter, M.P., and Amaral, D.G. (2004). Hippocampal formation. In The Rat Nervous System, Third Edition, G. Paxinos, ed. (San Diego: Elsevier Academic Press), pp. 635-704 [26] Hitti F L, Siegelbaum S A. The hippocampal CA2 region is essential for social memory[J]. Nature, 2014, 508(7494): 88-92 [27] Taube J.S., Muller R.U., Ranck J.B., Jr. 1990 Head-direction cells recorded from the postsubiculum in freely moving rats. I. Description and quantitative analysis. J. Neurosci 10(2), 420-435 [28] Sargolini F., Fyhn M., Hafting T., McNaughton B.L., Witter M.P., Moser M.-B., Moser E.I. 2006 Conjunctive representation of position, direction, and velocity in entorhinal cortex. Science 312(5774), 758-762 [29] Fyhn, M., Molden, S., Witter, M.P., Moser, E.I., and Moser, M.B. (2004). Spatial representation in the entorhinal cortex. Science 305, 1258-1264 [30] Hafting, T., Fyhn, M., Molden, S., Moser, M.B., and Moser, E.I. (2005). Microstructure of a spatial map in the entorhinal cortex. Nature 436, 801-806 [31] Hargreaves, E.L., Rao, G., Lee, I., and Knierim, J.J. (2005). Major dissociation between medial and lateral entorhinal input to dorsal hippocampus. Science 308, 1792-1794 [32] O‟Keefe, J., and Burgess, N. (2005). Dual phase and rate coding in hippocampal place cells: theoretical significance and relationship to entorhinal grid cells. Hippocampus 15, 853-866 [33] Fuhs, M.C., and Touretzky, D.S. (2006). A spin glass model of path integration in rat medial entorhinal cortex. J. Neurosci. 26, 4266-4276 [34] McNaughton, B.L., Battaglia, F.P., Jensen, O., Moser, E.I., and Moser, M.B. (2006). Path integration and the neural basis of the „cognitive map‟. Nat. Rev. Neurosci. 7, 663-678 [35] Solstad, T., Moser, E.I., and Einevoll, G.T. (2006). From grid cells to place cells: a mathematical model. Hippocampus 16, 1026-1031 [36] Langston, R.F., Ainge, J.A., Couey, J.J., Canto, C.B., Bjerknes, T.L., Witter, M.P., Moser, E.I., and Moser, M.B. (2010). Development of the spatial representation system in the rat. Science 328, 1576-1580 [37] Wills, T.J., Cacucci, F., Burgess, N., and O‟Keefe, J. (2010). Development of the hippocampal cognitive map in preweanling rats. Science 328, 1573-1576 [38] Bjerknes T L, Moser E I, Moser M B. Representation of Geometric Borders in the Developing Rat[J]. Neuron, 2014, 82(1): 71-78 [39] Zhang S.-J., Ye J., Miao C., Tsao A., Cerniauskas I., Ledergerber D., Moser M.-B., Moser E.I. 2013 Optogenetic Dissection of Entorhinal-Hippocampal Functional Connectivity. Science 340(6128) [40] Koenig, J., Linder, A.N., Leutgeb, J.K., and Leutgeb, S. (2011). The spatial periodicity of grid cells is not sustained during reduced theta oscillations. Science 332, 592-595 [41] Mittelstaedt, M. L. & Mittelstaedt, H. Homing by path integration in a mammal. Naturwissenschaften 67, 566-567 (1980) (in German) [42] McNaughton, B. L. et al. Deciphering the hippocampal polyglot: the hippocampus as a path integration system. J. Exp. Biol. 199, 173-185 (1996) [43] Etienne, A. S. & Jeffery, K. J. Path integration in mammals. Hippocampus 14, 180-192 (2004) [44] Marr D. 1971 Simple memory: a theory for archicortex. PhilosTransRSocLond B BiolSci 262(841), 23-81 [45] Zhang K. 1996 Representation of spatial orientation by the intrinsic dynamics of the head-direction cell ensemble: a theory. JNeurosci 16(6), 2112-2126 [46] Samsonovich A., McNaughton B.L. 1997 Path integration and cognitive mapping in a continuous attractor neural network model. J Neurosci 17(15), 5900-5920 [47] Conklin J., Eliasmith C. 2005 A controlled attractor network model of path integration in the rat. Journal of computational neuroscience 18(2), 183-203 -12http://www.ivypub.org/bf
[48] Fuhs MC, Touretzky DS. 2006 A spin glass model of path integration in rat medial entorhinal cortex. J. Neurosci. 26, 4266-4276 [49] Couey JJ et al. 2013 Recurrent inhibitory circuitry as a mechanism for grid formation. Nat. Neurosci. 16, 318-324 [50] Burak Y, Fiete IR. 2009 Accurate path integration in continuous attractor network models of grid cells. PLoS Comput. Biol. 5, e1000291 [51] Burgess N, Barry C, Jeffery KJ, O‟Keefe J. 2005. A grid and place cell model of path integration utilizing phase precession versus theta. Computational Cognitive Neuroscience Meeting, Washington, DC [52] O'Keefe J., Recce M.L. 1993 Phase relationship between hippocampal place units and the EEG theta rhythm. Hippocampus 3(3), 317-330 [53] Giocomo LM, Moser MB, Moser EI. 2011 Computational models of grid cells. Neuron 71, 589-603 [54] Burgess, N., Barry, C., and O‟Keefe, J. (2007). An oscillatory interference model of grid cell firing. Hippocampus 17, 801-812 [55] Hasselmo ME, Giocomo LM, Zilli EA. 2007 Grid cell firing may arise from interference of theta frequency membrane potential oscillations in single neurons. Hippocampus 17, 1252-1271 [56] Burgess N. 2008 Grid cells and theta as oscillatory interference: theory and predictions. Hippocampus 18, 1157-1174 [57] Moser E I, Moser M B, Roudi Y. Network mechanisms of grid cells[J]. Philosophical Transactions of the Royal Society B: Biological Sciences, 2014, 369(1635): 20120511 [58] Mhatre H, Gorchetchnikov A, Grossberg S. Grid cell hexagonal patterns formed by fast self‐organized learning within entorhinal cortex[J]. Hippocampus, 2012, 22(2): 320-334 [59] Krupic J, Burgess N, O9Keefe J (2012) Neural representations of location composed of spatially periodic bands. Science 337: 853-857 [60] Hähnel, D., Burgard, W., Wegbreit, B., & Thrun, S. (2003). Towards lazy data association in SLAM. In Proceedings of the 11th international symposium of robotics research (ISRR), Sienna, Italy [61] Frese, U. (2006). A discussion of simultaneous localization and mapping. Autonomous Robots, 20, 25-42 [62] Hollup, S. A., Kjelstrup, K. G., Hoff, J., Moser, M., & Moser, E. I. (2001a). Impaired recognition of the goal location during spatial navigation in rats with hippocampal lesions. The Journal of Neuroscience, 21(12), 4505-4513 [63] Milford M J, Wyeth G F, Prasser D. RatSLAM: a hippocampal model for simultaneous localization and mapping[C]//Robotics and Automation, 2004. Proceedings. ICRA'04. 2004 IEEE International Conference on. IEEE, 2004, 1: 403-408 [64] Milford M, Wyeth G, Prasser D. RatSLAM on the edge: revealing a coherent representation from an overloaded rat brain[C]//Intelligent Robots and Systems, 2006 IEEE/RSJ International Conference on. IEEE, 2006: 4060-4065 [65] Milford M J, Wyeth G F. Mapping a suburb with a single camera using a biologically inspired SLAM system[J]. Robotics, IEEE Transactions on, 2008, 24(5): 1038-1053 [66] Milford M J, Wyeth G F. Single camera vision-only SLAM on a suburban road network[C]//Robotics and Automation, 2008. ICRA 2008. IEEE International Conference on. IEEE, 2008: 3684-3689 [67] Milford M J, Wyeth G F. Mapping a suburb with a single camera using a biologically inspired SLAM system[J]. Robotics, IEEE Transactions on, 2008, 24(5): 1038-1053 [68] Cuperlier N, Quoy M, Gaussier P. Neurobiologically inspired mobile robot navigation and planning[J]. Frontiers in neurorobotics, 2007, 1 [69] Hirel J, Gaussier P, Quoy M. Biologically inspired neural networks for spatio-temporal planning in robotic navigation tasks[C]//Robotics and Biomimetics (ROBIO), 2011 IEEE International Conference on. IEEE, 2011: 1627-1632 [70] Hirel J, Gaussier P, Quoy M, et al. The hippocampo-cortical loop: spatio-temporal learning and goal-oriented planning in navigation [J]. Neural Networks, 2013, 43: 8-21 [71] Erdem, U.M., Hasselmo, M.E., 2012. A goal-directed spatial navigation model using forward trajectory planning based on grid cells. The European Journal of Neuroscience 35 (6), 916-931 [72] Erdem U M, Hasselmo M E. A biologically inspired hierarchical goal directed navigation model[J]. Journal of Physiology-Paris, 2014, 108(1): 28-37 -13http://www.ivypub.org/bf
[73] Edelman G M, Krichmar J L, Nitz D A. MOBILE BRAIN-BASED DEVICE HAVING A SIMULATED NERVOUS SYSTEM BASED ON THE HIPPOCAMPUS: European Patent EP 1782301[P]. 2007-5-9 [74] Wijekoon, Jayawan H. B., & Dudek, Piotr (2012). VLSI circuits implementing computational models of neocortical circuits. Journal of Neuroscience Methods, 210(1), 93-109 [75] Ascoli G A, Samsonovich A V. A spiking-network cognitive architecture inspired by the hippocampus[J]. Biologically Inspired Cognitive Architectures, 2013, 3: 13-26 [76] Maaswinkel H, Whishaw IQ (1999) Homing with locale, taxon, and dead reckoning strategies by foraging rats: sensory hierarchy in spatial navigation. Behavioural brain research [77] Redish AD (1999) Beyond the cognitive map: From place cells to episodic memory: MIT Press [78] Hyman J M, Zilli E A, Paley A M, et al. Working memory performance correlates with prefrontal-hippocampal theta interactions but not with prefrontal neuron firing rates[J]. Frontiers in integrative neuroscience, 2010, 4 [79] Martin P D. Locomotion towards a goal alters the synchronous firing of neurons recorded simultaneously in the subiculum and nucleus accumbens of rats[J]. Behavioural brain research, 2001, 124(1): 19-28 [80] Erdem U M, Milford M J, Hasselmo M E. A hierarchical model of goal directed navigation selects trajectories in a visual environment[J]. Neurobiology of learning and memory, 2014 [81] Chavarriaga R, StrOSslin T, Sheynikhovich D, et al. Competition between cue response and place response: a model of rat navigation behaviour[J]. Connection Science, 2005, 17(1-2): 167-183 [82] Sukumar D, Rengaswamy M, Chakravarthy V S. Modeling the contributions of Basal ganglia and Hippocampus to spatial navigation using reinforcement learning[J]. PloS one, 2012, 7(10): e47467 [83] MacDonald C.J., Lepage K.Q., Eden U.T., Eichenbaum H. 2011 Hippocampal "time cells" bridge the gap in memory for discontiguous events. Neuron 71(4), 737-749 [84] Kraus B.J., Robinson II R.J., White J.A., Eichenbaum H., Hasselmo M.E. 2013 Hippocampal "Time Cells": Time versus Path Integration. Neuron [85] Eichenbaum H, Cohen N J. Can we reconcile the declarative memory and spatial navigation views on hippocampal function?[J]. Neuron, 2014, 83(4): 764-770 [86] Eichenbaum H. Time cells in the hippocampus: a new dimension for mapping memories[J]. Nature Reviews Neuroscience, 2014
【作者简介】 1
于乃功（1966-），男，汉，山东，工学
2
李倜（1991-），男，汉族，湖北，工学
博士，教授，计算智能与智能系统、机器
学士，模式识别理论及应用，现北京工业
人学与机器人技术，模式识别理论及应
大学电子信息与控制工程学院研究生。
用，现任北京工业大学电子信息与控制工
Email: bgdliti@163.com
程学院自动化专业负责人，人工智能与机 器人研究所副所长。 Email: yunaigong@bjut.edu.cn 3
方略（1990-） ，男，汉族，河南，工学
学士，模式识别理论及应用，现北京工 业大学电子信息与控制工程学院研究 生。Email: 1621069902@qq.com
-14http://www.ivypub.org/bf