基于脑电-眼动的同步系统搭建方案

1. 引言

1.1       编写目的

本文档主要用于EEG-眼动同步系统的搭建和功能性说明,以便为后续的实验设计打下坚实的基础。

本文档的预期读者是与EEG-眼动同步系统开发有关的决策人,项目承担者,技术开发人员,辅助开发者,软件验证者。

1.2       背景

人体活动细胞或组织不论在静止状态还是活动状态,都会产生与生命状态密切相关的、有规律的电现象,称为生物电。通过高精度微弱生物电信号采集技术,可以采集到人体的各类电生理信号,包括脑电、肌电、心电等,并对得到的数据进行分析、存储。其中脑电是所有生物电信号中最为微弱,采集难度最高的信号,包含了大量脑神经细胞的电生理活动信息,可以体现人的思维活动和肢体动作等信息。科研领域所说的一般是指头皮脑电,是大脑皮层的电信号透过颅骨和头皮,弥散到头皮的电信号,因此信号强度微弱,且噪声干扰大。

眼动仪是一种能够跟踪测量眼球位置及眼球运动信息的一种设备,通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪。眼动仪的应用领域非常广泛,主要用于视觉信息加工的心理机制研究,比如阅读、视觉搜索、广告心理学等方面,此外,眼动仪还可用于发展心理学、工效学、交通心理学、体育心理学等方面的研究。

眼动(eye movements,EMs) 的本质是人注意力资源的主动或被动分配,选择更有用或吸引力的信息,一般应用于大型或重点项目的用户研究。但眼动技术无法帮助研究人员直接了解受试者的动机,进行信息处理或机制研究。因此,眼动仪一般与其他验证或互补的研究方法结合使用,如可用性测试,或配合其他用研方法使用。

1.3       EEG-眼动仪同步系统的应用领域

EEG和眼动仪的同步系统主要包括以下应用:

1.  心理语言学研究(如阅读研究)、心理旋转认知机制研究;

2.  商业用途,如广告效果评估、网页浏览、产品包装的效果评估;

3.  自闭症和抑郁症等精神疾病的研究。

2. 系统概述

脑电采集技术作为脑成像的的一种研究方法,具有时间分辨率高、信号直观且无创等特点,同时针对某些特殊疾病如癫痫等,可以通过脑电图直观的观测到发病的时间和异常信号。

眼动研究是借助眼动仪对用户在执行特定任务时眼睛视线的运动轨迹进行记录,以分析用户的认知行为和心理活动的过程。但是,由于眼动数据本身反映的是行为,不能直接反映认知和思维过程。眼动研究需要良好的实验设计的配合,才能正确地解释眼动数据,或者需要配合访谈或者回溯测试等来反映认知和思维过程。脑电研究则弥补了眼动研究的这一缺陷,并且天然的能与眼动研究相结合,这种结合不但能正确的解读眼动数据,还能客观准确的反映受试者的心理过程。本方案将主要介绍EEG-眼动追踪系统的同步意义和方法。

2.1.基于EEG-眼动追踪的同步系统

EEG系统检测的脑电信号一般是指用表面电极记录的头皮脑电信号,该信号来源于大脑浅层的细胞外电流,靠容积传导,通过颅骨和头皮,最后被表面电极检测。

眼动研究能提供一整套的眼动指标,眼动仪能完整记录用户的注视轨迹,获取用户的注视目标、时间和轨迹等信息。

EEG-眼动的结合是一种新的研究方向,它将眼动数据的直观性和脑电数据的深入、精确和全面性相结合,能提供被试在信号采集过程中的全息信息。通过二者的联合,我们可以精确定位被试在浏览特定任务时大脑的活动,挖掘用户内心深处的态度、情感、认知水平。

2.2.EEG-眼动同步系统应用实例:阅读期间注视持续时间与N400幅值之间的关系

传统的心理学实验中ERP和EMs是在不同的实验中分别获得。在本方案的实例中,研究者在自然阅读情况下将ERP和EMs联系起来,发现在受试者阅读过程中,注视持续时间(Fixation durations,FD)和N400(N400成分了反映语义认知加工过程)幅值基本上是相互关联的---较长的FD与较大的N400振幅相关。

1541744843(1)

 1 第n个单词频率、可预测性注视时间和N400的关系

如图1所示,蓝色折线代表N400的幅值,红色折线代表注视时间FD。通过EEG和EMs的同步记录最后得出,对于第n个单词而言,FD和N400的幅值是正相关的---并且单词出现的频率越低,单词的可预测性越小,注视时间就越长 ,N400幅值就越大。

1541747282(1)

 2 第n-1个单词N400和第n个单词FD的相关性

图2所示,蓝色折线代表第n-1个单词的N400幅值,红色折线代表第n个单词的注视时间,二者具有相同的变化趋势。N400n-1和FDn的相关性表明两个变量之间的函数关系,图3阐述了二者的关系。总之,FD和N400的幅值受到单词出现频率和可预测性的影响。

图3表明了在正常阅读期间注视时间FD和在快速连续视觉呈现(RSVP)期间的ERP的时间过程。受试者从左到右阅读句子,当视点落在一个单词上时,会被固定大约200ms,然后扫视到下一个单词,这个单词再次固定大约200ms。 蓝色阴影区域表示第n个单词理想的ERP曲线和FDn。图3b描绘了不同单词之间FD和N400幅值之间的预期关系:相同单词的FD和N400之间的相关性(双向箭头),以及N400对下一个单词FD的单向影响(单向箭头)。

1541743436(1)

 3 同一时间轴上ERP和注视时间的预期关系

通过眼动和ERP的联合分析,研究者已经初步确定单词的属性是如何影响后续相邻词的ERP(例如N400成分)和EMs(例如凝视时间),阅读实验中对两个独立的实验使用相同的阅读材料,发现低关联度的单词会产生较大的N400波幅,由此,依据关联单词的词频和可预测性,给出了阅读的处理模型,即注视时间FD与ERP存在交叉处理模式,在对当前单词注视的时间窗内,脑电活动包括对上一注视位置单词的处理以及对下一注视位置单词的预测。

2.3.EEG-眼动仪同步系统的注意事项

结合EEG和眼动仪的同步系统,需要注意的是:

相对于眼动仪而言,脑电采集系统属于采样率较高的设备。一般而言脑电放大器的采样频率为500-1000Hz甚至更高;而眼动仪的采样频率一般为50-150Hz,只有极少数能达到600-1000Hz。因此脑电和眼动仪的同步精度取决于眼动仪的采样频率,理论上二者的同步精度可以达到1-20ms不等。

眼动仪一般可分为桌面式、眼镜式和VR插件式三种。桌面式眼动仪属于精度较高的设备,采样率较高(最多可达1200Hz);眼镜式眼动仪和VR插件式眼动仪属于精度较低的设备,采样率较低(50-150Hz)。眼镜式眼动仪为便携式设备,被试可随身携带并自由移动;VR插件式眼动仪一般和VR设备联用,可以直接内置在VR的头显里。

需要注意的是几种眼动仪的校准方式有区别:1)桌面式眼动仪的摄像头在屏幕下方,头部的摆动会导致眼球和摄像头的相对位置变化,对校准造成影响。因此在校准时需要保持头部位置的固定(或是不要进行较大幅度的摆动),有些桌面式眼动仪甚至在校准时会配备支架来固定头部来保证校准的精度。2)眼镜式眼动仪的摄像头在镜框,与眼球的相对位置固定,校准时需要一张卡片进行校准。需要注意的是卡片与眼动仪的距离、角度和位置要和待检测界面尽量保持一致,这样校准的结果才能更加精确。

1539307992(1)

4 几种眼动仪的区别

3. 同步系统的组成与设计

3.1.便携式脑电采集系统

我们通过直流耦合式模拟前端对脑电放大器进行了小型化设计,并减少了模拟滤波和放大环节,实现了脑电放大器的小型化,增加了电磁屏蔽的功能,方便脑电设备和眼动仪设备的联用。便携式脑电采集放大器在静息状态和非屏蔽室环境下表现出了良好的共放大、信噪比特性和稳定性,在抗干扰方面,与电路性能相对占优势的台式脑电采集设备相比,本项目研发的便携式脑电放大器更适合与眼动仪系统联用。

该脑电采集系统的参数如下:


通道数

64导

最高采样率

16kHz

共模抑制比

≥120dB

模数转换精度

24bit

系统噪声

<0.4µVrms

输入信号范围

±375mVpp

事件同步输入

同步,时间精度<1ms

体积

85*55*22mm

重量

84g

供电方式

内部锂电池

供电时长

单块电池达到4小时,可通过多块备用电池增加连续工作时间

 

img5

img6

5  64通道脑电采集系统

该放大器具有以下特点:

(1) 便携可穿戴系统设计:该放大器为便携式设备,采用64通道的无线同步数据采集,可实现自然环境下实现的自由移动;配置有九轴运动传感器,可去除被试在移动过程中信号的干扰。

(2) 高质量脑电信号采集:设备具有低输入噪声和高采样率,动态范围广,电磁屏蔽性好,可实现在复杂环境下的数据采集。

(3) 精准事件同步:可实现多设备间数据高精度同步,以及刺激设备和采集设备高精度同步。

3.2. 眼动仪

 本方案的脑电放大器采用博睿康的无线数字脑电采集系统,眼动仪分别采用Tobii和七鑫易维的几款不同的眼动仪,分别介绍他们的同步方法和同步效果,方便用户选择。

3.3. 脑电采集软件

脑电采集软件可实现无线放大器采集的脑电信号以及多参数同步器采集的同步信号的显示、分析、存储、离线回放等功能。软件可以进行离线阻抗测量,以及在信号采集过程中的实时阻抗监测。电生理信号的时频分析以及一系列特征参数可以通过软件的趋势图分析功能进行实时观测与分析。相关数据可以通过数据接口进行实时传输,供其他软件进行数据整合与分析。

IMG_256

图 6 脑电采集软件界面

3.4. 多参数同步器

多参数同步器是无线数字脑电采集系统的重要组成部件,也可与其他外接设备配合使用。在本方案中,多参数同步器可以保证无线脑电放大器和眼动仪同步,同步精度为1-10ms。

img8

图 7 多参数同步器

3.5.同步方案设计

1. 首先介绍EEG设备与七鑫易维两款眼动仪的同步方法。

两款眼动仪均通过硬件同步。眼动仪开始呈现刺激材料的时候,发一个TTL 电平信号到多参数同步器的Trigger-in接口(多参数同步器与EEG设备无线同步),从而实现眼动信号在脑电中触发标记;或者眼动仪预留一个接口,通过多参数同步器的Trigger-out接口发出电平信号实现触发,二者从时间戳上同步,同步精度为3-10ms。

1539312301(1)

图8七鑫易维的桌面式和VR式眼动仪

2.       EEG设备与Tobii眼动仪的同步方法主要分为硬件同步软件同步两种方法。

1)  软件主要通过Tobii Prolab实现,通过安装有Tobii Prolab电脑的并口直接发送TTL信号至EEG设备的多参数同步器的Trigger-in接口(多参数同步器与EEG设备无线同步),从而实现眼动信号在脑电中触发标记;Tobii Prolab支持所有型号的Tobii眼动仪,因此软件同步的精度取决于相应眼动仪的采样频率。如采样率为100Hz的眼镜式眼动仪可实现的同步精度为10ms;采样率为600Hz的桌面式眼动仪可实现的同步精度<2ms。

1539314492(1)

图 9 通过Tobii Prolab实现EEG与眼动仪同步

2) 除了软件同步方法之外,还有几种Tobii的眼动仪支持硬件同步。硬件同步主要是通过眼动仪预留的接口,以有线的方式进行同步。下图为Spectrum的硬件同步方式。

 

1539315065(1)

图 10 Spectrum的硬件同步方式

①Spectrum通过DB9端口直接与EEG设备连接,通过多参数同步器的Trigger-out接口向DB9端口发出电平信号实现触发,这种同步方式支持255种事件标记。根据Spectrum的采样率不同(300/600/1200Hz),最高可实现同步精度<1ms。

②头戴式Tobii Glasses产品同步方式:Glasses 3.5mm端口直接发送/接收TTL信号。

1539317553(1)

 11眼镜式Tobii Glasses的硬件同步方式

根据外接设备的接口,Tobii Glasses可配置不同的同步线(DB9或是DB25),可通过该端口发出TT,电平信号至多参数同步器的Trigger-in端口或者多参数同步器的Trigger-out端口发出TTL电平信号至该端口实现同步。Tobii Glasses的采样频率为50/100Hz,因此可实现10/20ms的同步精度。

3.6.关键技术和解决途径

无线脑电采集

生物电信号,尤其是脑电等微弱生物电信号,由于其幅值微弱,淹没在周围各类电磁干扰信号中,因此对信号采集前端的精度与抗噪声能力要求很高。为满足高精度弱信号采集的要求,系统采用低增益放大结合完全数字滤波的无损宽频直流耦合技术。较传统方案相比,该技术能够实现对宽频带信号的高精度采集,同时对放大器的电磁屏蔽性做了改进保证了脑电数据采集的平稳

系统同步

为实现EEG-眼动仪同步系统达到预期效果,关键点在于二者的精确同步,我们开发了一种无线同步技术,通过多参数同步器将二者结合,可以实现整个系统毫秒级的同步精度。

3.7. 系统特点总结

本项目所采用的EEG-眼动追踪同步系统具有以下特点:

(1)本系统研发的无线脑电放大器具有便携可穿戴的特点,同时具有高信号质量和电磁屏蔽性好的特点,可以在自然环境下使用并且信号不受环境影响;

2)本系统可以实现EEG和眼动仪的精确同步,最佳效果可实现同步精度<1ms。

 

 

 

2020年5月19日 11:45

博睿康

——“脑·机”预见未来

博睿康

——“脑·机”智领未来