虚拟和混合现实医学教育严肃游戏中的生物传感器实时情感分析:队列研究( Biosensor Real-Time Affective Analytics in Virtual and Mixed Reality Medical Education Serious Games: Cohort Study )

PE Antoniou G Arfaras N Pandria A Athanasiou PD Bamidis

背景：情绪在学习过程中起着至关重要的作用，因为它与动机、兴趣和注意力联系在一起。情感状态表现在大脑和整个生物活动中。生物信号如心率(HR)、真皮电活动(EDA)和脑电图(EEG)等是受情绪状态影响的生理表达。分析这些生物信号记录可以指向一个人的情绪状态。利用虚拟现实(VR)和混合现实(MR)的应用，现代医学教育向多样化的学习资源方向发展。目的：研究可穿戴生物传感器在微软HoloLens VR/MR平台上对一个严肃游戏学习过程中情感检测的有效性。方法：采用可穿戴式传感器阵列记录HR、EDA和EEG信号,由11名不同教育水平（本科、研究生和专科神经外科医生）的参与者进行2次教育活动。第一种情况是常规的虚拟病人病例，用于为参与者建立个人生物信号基线。第二个是VR/MR环境下的神经解剖学病例。我们记录的情感指标是脑电图（theta/beta比值和alpha节律）、HR和EDA。结果：记录并汇总了所有3组的结果。虚拟病人(VP)与MR严重游戏病例的平均脑电比率记录为：学生为3.49(SD0.82)对3.23(SD0.94)；神经外科医生为2.59(SD0.96)对2.90(SD1.78)；医学研究生为2.33(SD0.26)对2.56(SD0.62)。VP与MR严重游戏的平均alpha节律：学生为7.77(SD1.62)微伏对8.42(SD2.56)微伏；神经外科医生为7.03(SD2.19)微伏对7.15(SD1.86)微伏；医学研究生为11.84(SD6.15)微伏对9.55(SD3.12)微伏。VP与MR严重游戏病例的平均心率记录为学生87(SD13)对86(SD12)bpm，神经外科医生81(SD7)对83(SD7)bpm，医学研究生81(SD7)对77(SD6)bpm。VP组和MR组的平均EDA分别为：学生组1.198(SD1.467)和4.097(SD2.79)；神经外科医生组1.890(SD2.269)和5.407(SD5.391)；医学研究生组0.739(SD0.509)和2.498(SD1.72)。这些指标的变化与教育相关的情感分析的现有理论解释相关，如投入和教育焦点。结论：这些结果表明这种新的传感器配置可以导致可信的情感状态检测，并且可以用于智能教学系统等平台，以提供实时的、基于证据的、使用VR/MR部署的医学教育资源的情感学习分析。

SciDown文献求助系统（解决99%问题） Public Download ResearchGate