马里兰大学巴尔的摩县分校(UMBC)和安妮·阿伦德尔医学中心的研究人员进行了一项研究，探讨了外科实习生如何体验旨在改善腹腔镜手术过程中的沟通能力的新型手势技术。这项研究的结果刚刚在美国医学信息学协会(AMIA)的年度研讨会上由以人为中心的计算的第一作者兼UMBC博士学生Azin Semsar提出。

外科医生通过将小型摄像机插入腹部并通过实时视频观看器械的运动来进行腹腔镜手术。在观看视频时，外科医生无法触摸显示器或鼠标，因为他们的手需要保持无菌状态。相反，他们必须在手术过程中使用口头描述与他人交流。学员必须密切注意口头指示，并弄清楚如何将这些口头线索变为行动，而不必依赖外科医生与屏幕之间的任何手势交互。

研究人员寻求通过使用一种称为“虚拟指针”的技术来开发一种更有效的腹腔镜技术培训方法，该技术由HelBC Mentis开发，该技术是学术计划和学习副院长，UMBC信息系统副教授。

UMBC信息系统助理教授安德烈·克莱因史密斯(Andrea Kleinsmith)表示：“这项技术使外科手术培训师可以指向实时视频并在不触摸视频的情况下进行绘制，因此他们可以指导外科手术学员如何执行手术。克莱因史密斯(Kleinsmith)领导着努力，以测量和了解技术对受训者的认知负荷的影响。

通过虚拟指针，学员不仅可以完全依靠口头指示，还可以更好地可视化下一步要做的事情。克莱因史密斯(Kleinsmith)和门蒂斯(Mentis)试图测试这种方法是否会影响认知负荷，执行任务所需的精神努力量。如果该方法显着增加了认知负荷，那么在外科手术过程中这将不是有用的训练工具。

重要的是，虚拟指针结合了视觉和言语信息。培训师仍会提供口头指导，但他们也可以同时提供视觉提示。从长远来看，研究人员预测，同时使用视觉和言语信息处理将减轻学员的认知负担。但是，他们还预测，由于需要习惯新技术，因此认知负担最初会增加。

为了确定外科手术学员的认知负荷，研究人员测量了他们与唤醒水平有关的生理反应。Kleinsmith解释说：“特别是，我们对皮肤电活动感兴趣，这非常简单地等同于皮肤上的汗水。它与认知负荷有关。”他们使用受训人员在训练过程中佩戴的腕带测量了皮肤的电活动。他们发现，第一次使用虚拟指针不会增加他们的认知负担，相反，它保持不变。

虚拟指针还对培训者与受训者之间的交流产生了积极影响。如果没有虚拟指针系统，学员将停止培训以更频繁地处理其指令。使用该系统，他们可以更好地在处理新信息的同时继续执行培训。