Experimental Study on the Relationship between Short-term Working Memory and Situation Awareness

Scientific Journal of Information Engineering April 2016, Volume 6, Issue 2, PP.43-49

Experimental Study on the Relationship between Short-term Working Memory and Situation Awareness Zhang Hao#, Wang Chensheng, Wei Wei Beijing University of Posts and Telecommunications, Beijing 100876, China #Email:buptzhanghao@outlook.com

Abstract The design of human-computer interface focuses on the information processing and storage. The memory of the operators is significant during the formation and regeneration of the situation awareness. Research on memory can improve the humancomputer interface design as well as the information storage and extraction, which also decreases operators’ cognitive load and improve their ability to obtain and process the information. This research focuses on the influence of interruptive tasks on situation awareness. We inserted an interruptive task during the main task, and continuously changed the interruptive tasks to explore the variance among different tasks. Experimental result showed that the phonological loop, visuo-spatial sketchpad and central executive system are all involved in the formation of working memory and situation awareness with different importance.

Key words: SA; Computer Interface; Short-term Working Memory; HCI

短时工作记忆与情景意识关系的实验研究 张皓，王晨升，魏伟 北京邮电大学，北京市 100876 摘

要： 人机界面设计强调人对任务信息加工与储存过程，在情景意识的形成与更新中，操作者的记忆过程尤为重要，

所以研究人的记忆机制能改进人机界面并促进任务信息的储存和提取，减少操作者认知负荷，提高其获取与加工信息的 能力。本研究的目的是通过考察中断任务对情景意识的影响，分析短时工作记忆在情景意识保持过程中的作用，推断情 景意识的差异与记忆机制的差异是否相关。实验采用中断实验范式，在执行主任务与回忆主任务信息两个阶段之间插入 一个中断任务，并不断改变中断任务的性质，通过个体的记忆错误程度，考察不同情况下情景意识水平的差异。实验结 果表明，语音回路、视空间模块、中央执行系统都有参与短时工作记忆及情景意识的形成过程，且参与重要程度各不相 同，同时，知觉、理解、预测三方面情景意识的形成难度也是逐级增加，此结论对于情景意识测量与人机界面设计有一 定的指导意义。 关键词： 情景意识；人机界面；短时工作记忆；人机交互

引言 人机界面设计强调人对任务信息的存储与加工过程，因此揭示在复杂人机系统中人的信息存储和加工 的特点是有必要的。用户记忆过程在情景意识的形成中起着重要作用，研究其记忆的机制能够更好地改进 人机界面的设计，同时促进任务信息的存储和提取，减少用户在人机交互中的认知符合，提高用户获取信 息并加工信息的能力。 情景意识最初是描述飞行员对战斗机操作理解，其最重要的特点是环境动态变化并且信息丰富，操作 者需要在高心理负荷的情况下完成特定任务。所以情景意识的记忆研究通常以长时工作记忆研究为主，如 - 43 http://www.sjie.org

(Wickens, 2000) 认 为 长 时 工 作 记 忆 受 其 他 因 素 的 影 响 较 少 ， 同 时 在 情 景 意 识 过 程 中 发 挥 主 要 作 用 。 (Vandierendonck & Kemps,2005)发现用户的中心决策除去对环境中的信息提取外，还会从长时工作记忆中索 取。(Baddeley,1986)提出工作记忆主要是由三个成分形成，分别为语音环路，视空间模板以及中央执行系统， 三种成分对后来的工作记忆实验提供了很好的研究方向，并且他发现三种成分对于决策的影响都是通过环 境感知与长时记忆中提取而来(Baddeley, 1992, 1996; Baddeley & Logie, 1999)。短时工作记忆在一些研究中也 有探讨，如(Gonzalez, 2007; Sohn, 2004)等探究短时工作记忆的作用，(Kamilla, 2010)发现在驾驶时视空间模 块与语音环路对驾驶员的情景意识有一定影响，但对于短时工作记忆的研究并未说明在加工和存储短时工 作记忆时占用了哪些资源，以及短时工作记忆发挥了多重要的作用。

实验

1

本研究的目的是通过考察中断任务条件对情境意识的影响，分析短时工作记忆在情境意识保持过程中 的作用，推断情境意识的个体差异与记忆机制的差异是否相关。实验采用中断实验范式，在执行主任务与 回忆主任务信息两个阶段之间插入一个持续 60 秒的中断任务，再进行情景意识综合评价技术(SAGAT)。通 过被试对于问题回答的准确率，来判断不同中断任务对于被试的影响，以及对知觉、理解、预测三种情景 意识水平的影响。为保证实验的客观性，减少学习效应对短时工作记忆的影响，每位被试在接受实验时， 遇到中断任务的顺序是完全随机的，同时被试在进行完一组实验后需要休息 30 分钟再进行下一组实验。

1.1 被试 实验从北京邮电大学本科生中选取 15 名被试，其中男性 9 名，女性 6 名，被试在参加实验前并未接触 过相关的实验任务，对于飞机相撞实验都定义为新手被试，在进行实验前进行简单的认知培训，被试同时 都具有一定的物理知识基础，能够对相关的图表进行理解和判断。

1.2 实验步骤 实验的整体过程主要包括是主任务、中断任务和回答情景意识提问三个部分。 1.2.1

主任务

采用飞机相撞判断的任务进行实验，利用计算机屏幕显示相关的飞机飞行的参数，示例界面如图 1，呈 现时间为 60 秒，其中飞机数量为 4 架，其中一架为本机，另外三架为目标飞机。飞机飞行参数主要包括航 向、地面速度、垂直速度、相对距离、飞行高度等。被试需要从这些数据中提取信息，并进行记忆，同时 需要对一些数据和图像进行理解（如飞机的地面速度及航线交汇距离所组成的线性图，被试可通过判断线 段斜率来判断两架飞机是否可能同时到达飞机的交汇点），最后还需要预测飞机的飞行路线和轨迹等，这 些都需要被试在进行主任务时对界面进行理解。

图 1 主任务示例界面 - 44 http://www.sjie.org

1.2.2

中断任务

用户在进行完主任务后，需要立即进行中断任务，中断任务是为了打断被试的主任务，使被试脑中的 一个回路去执行其他的任务，判断其对于情景意识形成的影响以及所起作用，中断任务分为三种次任务， 分别为语音环路抑制任务、视空间模板抑制任务和中央执行系统抑制任务。每个被试在进行实验时也会进 行没有中断任务的对照组。 (1) 语音环路抑制任务 为被试按顺序呈现几个常见词语，如“我们”、“电脑”。每个词语呈现 1.5 秒，共呈现 6 个词语，要 求被试记忆词语后，按顺序口述这些词语。该任务被认为占用了语音回路，因此用于判断语音环路对于短 时记忆中情景意识形成的作用与影响。 (2) 视空间模板抑制任务

图 2 视空间抑制示例界面

向被试呈现六张图片，每张呈现 2 秒，图片示例如图 2 所示，被试需要在记忆图片后按顺序记忆图片中 图形的位置和形状，该任务被认为占用了被试的视空间模板，从而用于判断视空间模板对于短时记忆中情 景意识形成的作用与影响。 (3) 中央执行系统抑制任务 要求被试随着计算机的随机间隔发音声调高低来进行反应判断。计算机会随机发出高音“1200Hz”和 低音“500Hz”，发声间隔为 2 秒，被试判断其频率的高低，并通过按上下键头来作出反应。该任务被认为 占用了中央执行系统，从而判断中央执行系统对于短时记忆中情景意识形成的作用与影响。 1.2.3

情景意识的测量方法

主要参照情景意识综合评价技术，即 SAGAT。采用记忆探查的测量方法，中断任务结束后，立即向被 试呈现与主任务相关的问题，被试需要从记忆中回忆任务信息，并进行回答。例如：与本机飞行高度相同 的飞机为？（答案选项：飞机 1、 飞机 2、飞机 3）后台需要记录每位被试问题结果，三类问题和三种中断 任务的回答问题时的准确率需要分别进行记录。通过数据分析其结果，找到中断任务对情景意识的反应时 和准确率的影响。

1.3 实验设计 本实验设置了两个自变量，中断任务类型以及情景意识评价问题水平，中断任务类型 4 种，即语音环路 抑制、视空间模板抑制、中央执行系统抑制和无抑制，情景意识评价问题分为 3 种水平，即知觉、理解、预 测。因变量为情景意识水平，其测量目标主要为情景意识问题回答的准确率。每位被试进行 8 次实验，即每 个中断任务进行两次，被试的实验顺序完全随机，得到的数据利用 SPSS 进行数据处理。 - 45 http://www.sjie.org

2

结果 各个实验条件下回答问题的准确率的结果如下表所示。 表 1 总数据表 回答准确率

知觉问题回答准确率

理解问题回答准确率

预测问题回答准确率

无次任务

0.744±0.208

0.900±0.228

0.767±0.274

0.583±0.278

语音抑制任务

0.628±0.163

0.817±0.200

0.667±0.181

0.400±0.228

视觉抑制任务

0.633±0.186

0.767±0.258

0.683±0.275

0.450±0.330

中央执行抑制任务

0.556±0.112

0.750±0.189

0.633±0.229

0.283±0.129

2.1 情景意识实验回答的总准确率 从实验数据来看，情景意识水平问题回答的总准确率会因为次任务的不同而产生差异，首先能从条形 柱状图中看出差异。 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0

回答总准确率

图 3 问题回答准确率柱状图

对回答问题的总准确率进行方差分析，得到结果如下： 表 2 方差分析 组

观测数

平均

方差

F

P

无次任务

15

0.7444

0.0431

2.78

0.0330

语音抑制任务

15

0.6278

0.0267

视觉抑制任务

15

0.6333

0.0345

中央执行抑制任务

15

0.5556

0.0126

从方差分析结果能看出，由于 F(3,14)=2.78，且 P=0.033(<0.05)，这说明，在主任务执行过程中，中断 任务对于被试的回忆主任务信息时的问题回答准确率具有显著影响，值得注意的是，语音环路抑制任务与 视空间模板抑制任务对于准确率的影响类似，互相之间并无显著差异，这表明两个模块对于情景意识水平 的形成十分重要并且影响程度类似。而中央执行抑制任务对于被试回答准确率的影响最大，从数据中能看 出使被试在进行回答时准确率下降最多。 - 46 http://www.sjie.org

2.2 情景意识实验知觉、理解、预测问题回答的准确率 2.2.1

三类问题的平均准确率

首先，从条形图中能够得出一些结论，整体来看，知觉问题的回答准确率最高，理解问题次之，而预 测问题回答的准确率最低。其次，从单种问题来看，在没有次任务的情况下问题的回答准确率都是最高的， 随着抑制任务的进行，被试的回答准确率出现了明显的下降，而发音抑制任务和视觉抑制任务对于回答准 确率的影响类似，而中央抑制任务对于回答准确率的影响最大，使回答准确率变得最低。 1 0.9 0.8 0.7 0.6

无次任务

0.5

发音抑制任务 视觉抑制任务

0.4

中央执行抑制任务

0.3 0.2 0.1

0 知觉

理解

预测

图 4 三类问题回答平均准确率柱状图

2.2.2

三种问题准确率方差分析 表 3 方差分析 2 组

观测数

平均

方差

F

P

知觉

15

0.8125

0.0162

3.22

0.00000002

理解

15

0.6792

0.0200

预测

15

0.4292

0.0262

从方差分析的表中能看出，由于 F(2,14)=3.22，且 P=0.00(<0.05)，所以能发现知觉、理解和预测三类问 题对回答的准确率有显著影响，且知觉问题的回答准确率最高，理解问题次之，预测问题回答的准确率最 低。 若从四种中断任务分别来看对三类问题的影响，首先是语音环路： F(2,14)=3.22, P=6.42E-06，视空间模 板：F(2,14)=3.22, P=0.012973，中央执行系统：F(2,14)=3.22, P=6.06E-08，无中断：F(2,14)=3.22, P=0.007235。 从数据中能看出，所有的 P 值均小于 0.05，则表明四个中断任务都对这三类问题的回答有显著影响，但能 看出中央执行系统对三种问题的结果影响更加显著，语音环路的影响也十分显著，表明在中央执行系统或 者语音环路被占用时，被试在进行较难的问题（如理解和预测问题）判断时较无中断任务更加艰难。比较 不符合预期的是视空间抑制任务，其 P 值大于无中断任务的 P 值，但事实上两个值相差不大，且都小于 0.05，由于被试数量并不是很大，所以其误差是在实验可接受误差范围之中。

3

讨论 工作记忆作为容量有限的资源系统对于高级的认知任务是有作用的。而采用中断任务的原因是希望用 - 47 http://www.sjie.org

两个任务（主任务与次任务）同时竞争这有限的同一资源。例如中央执行系统抑制任务占用了中央执行系 统，被试在被占用的情况下出现主任务的绩效出现了下降，则可以确定中央执行系统参与了情景意识的形 成。从实验数据来看，三个抑制任务都让主任务的绩效出现了下降，则表示，语音环路，视空间模板和中 央执行系统都参与了情景意识的形成过程，从下降程度上看，中央执行系统抑制任务对主任务的绩效影响 最大，则说明中央执行系统在情景意识的形成过程中起到了相对重要的作用。 从实验数据能看出，作为任务新手，被试的情景意识受到了中断任务的显著影响，中断任务导致了问 题准确率变低。分析产生这个结果的原因主要为以下几点，第一，由于被试的语音环路，视空间模板以及 中央执行系统在情景意识形成时都起着一定的作用，而在中断期，短时工作记忆中有限的部分被用于执行 中断任务，存储了中断任务信息中的语音信息以及空间表征等，因此会导致主任务的一些信息被遗忘。所 以若中断任务对于工作记忆的空间占用部分越多，情景意识保持的水平就会越低。第二，被试都选为新手， 其长时工作记忆存储的任务知识十分稀少，所以在回答问题时，并不会出现长时工作记忆的知识来组织任 务信息，所以回答问题的准确率较低。最后，由于新手被试对于情景意识任务中的记忆策略掌握得较少， 所以会受到中断任务比较强的干扰，导致出现问题回答准确率较低的现象。

准确率 1

0.9 0.77

0.8

0.58

0.6 0.4

0.2 0 知觉

理解 准确率

预测 线性 (准确率)

图 5 三类问题回答平均准确率

另外，对于知觉、理解、预测三个方面的情景意识水平进行考虑，从图 5 能看出，被试在进行三个方面 问题的回答准确率呈现线性递减关系，则能够推断其情景意识的形成难度是逐级递增的，说明在被试形成 情景意识的过程中，能够最先最快速的记住知觉方面的信息，再是理解部分信息，最后为预测信息，并且 各个方面的信息都会受到中断任务的干扰。

4

结论 实验结果表明，在飞机相撞任务中，同时进行的中断任务对于主任务有一定的干扰作用，并降低情景

意识水平及记忆效率。 分析结果说明，语音环路、视空间模板、中央执行系统都有参与短时工作记忆及情景意识的形成过程， 其参与重要程度为语音环路与视空间模板较低，中央执行系统最高。对于知觉、理解、预测三个方面的情 景意识在短时工作记忆中的形成难度是知觉信息的形成难度最低，理解信息次之，预测信息的难度最高。 本研究是基于短时工作记忆在情景意识形成中的作用，目前只能判断各种回路的影响，对短时工作记 忆本质的理论研究还不够深入，所以如果深入下去还需要进行整体的实验研究和理论架构，才能对情景意 识的形成框架、存储途径等有一个整体的了解。

REFERENCES [1]

Endsley M R. Situation awareness in aviation systems. In Garland D J, Wise J A, Hopkin V D. Handbook of aviation human - 48 http://www.sjie.org

factors. Mahwah, NJ: Erlbaum, 1999. 257~276 [2]

Johannsdottir K R, Herdman CM. The Role of Working Memory in Supporting Drivers070705 Situation Awareness for Surrounding Traffic[J]. Human Factors the Journal of the Human Factors & Ergonomics Society, 2010, 52:663-673.

[3]

Yang Jiazhong, Zhang Kan. Situation Awareness: Approaches, Measures and Applications Advances in Psychological Science 2004, 12 (6): 842~850

[4]

Endsley M R, Garland D J. Situation awareness analysis and measurement. Mahwah, NJ: Erlbaum, 2000

[5]

Parasuraman, Raja, Thomas B. Sheridan, and Christopher D. Wickens. "A model for types and levels of human interaction with automation." Systems, Man and Cybernetics, Part A: Systems and Humans, IEEE Transactions on 30.3 (2000): 286-297.

[6]

Szmalec, Arnaud, André Vandierendonck, and Eva Kemps. "Response selection involves executive control: Evidence from the selective interference paradigm." Memory & Cognition 33.3 (2005): 531-541

[7]

Endsley M R. Situation awareness and workload: Flip sides of the same coin. In: Proceedings of the seventh international symposium on aviation psychology. Columbus: The Ohio University, 1993. 906~911

[8]

Baddeley, Alan. "Working memory." Science 255.5044 (1992): 556-559.

[9]

Baddeley, Alan, et al. "Working memory and vigilance: evidence from normal aging and Alzheimer's disease." Brain and cognition 41.1 (1999): 87-108.

[10] Martinez‐Aran, A., et al. "Functional outcome in bipolar disorder: the role of clinical and cognitive factors." Bipolar disorders 9.1‐2 (2007): 103-113.

[11] Lu Zhongyi, Zhang Yajing. The Effects of Phonological Loop of the Working Memory in Chinese Reading Comprehension [J].

Acta Psychologica Sinica, 2007, 39(5):768-776.

[12] Sun Yujing, Lian Siqing, Zhang Hongshan. Role of the Phonological Loop, Visuo-spatial Sketch Pad in the Comparison of the Same Base Powers[J]. Journal of Mathematics Education, 2007, 16(1):55-58. DOI:10.3969/j.issn.1004-9894.2007.01.015.

[13] Durso F T, Sethumadhavan A. Situation Awareness: Understanding Dynamic Environments[J]. Human Factors, 2008, 50(3):442448.

[14] Federal Aviation Administration. Crew resource management training: Advisory Circular (AC No: 120-51e). Washington, DC: Federal Aviation Administration, Flight Standards Service, 2004 [15] Fu Yaqiang ， Xu Baihua. The Role of Working Memory in Situation Awareness of Visual Monitoring Tasks. Journal of Psychological Science 2012, 35( 5) : 1077 － 1082 [16] Vidulich M A. Mental workload and situation awareness: essential concepts for aviation psychology practice. In: Tsang P, Vidulich M A. Principles and practices of aviation psychology. Mahwah, NJ: Erlbaum, 2003. 115~146

【作者简介】 1

张皓（1992-），男，汉族，硕士，人

2

王晨升（1964-），男，汉族，博士，副教授，虚拟现实与

机交互与虚拟现实，北京邮电大学：硕

工业自动化，荷兰代尔夫特理工大学：博士。

士。Email:buptzhanghao@outlook.com

Email: cwang@bupt.edu.cn 3

魏伟（1992-），男，汉族，硕士，工业自动化，北京邮电

大学：硕士。Email: tstkbuptwei@gmail.com

- 49 http://www.sjie.org