基于脑电-运动捕捉的同步系统搭建方案
1.引言
1.1 编写目的
本文档主要用于脑电-运动捕捉同步系统的搭建和功能性说明，以便为后续的实验设计打下坚实的基础。
本文档的预期读者是与脑电-运动捕捉同步系统开发有关的决策人，项目承担者，技术开发人员，辅助开发者，软件验证者。
1.2 背景
人体活动细胞或组织不论在静止状态还是活动状态，都会产生与生命状态密切相关的、有规律的电现象，称为生物电。通过高精度微弱生物电信号采集技术，可以采集到人体的各类电生理信号，包括脑电、肌电、心电等，并对得到的数据进行分析、存储。其中脑电（electroencephalogram，EEG）是所有生物电信号中最为微弱，采集难度最高的信号，包含了大量脑神经细胞的电生理活动信息，可以体现人的思维活动和肢体动作等信息。科研领域所说的一般是指头皮脑电，是大脑皮层的电信号透过颅骨和头皮，弥散到头皮的电信号，因此信号强度微弱，且噪声干扰大。
运动捕捉系统是一种用于准确测量运动物体在三维空间运动状况的高技术设备。它基于计算机图形学原理，通过排布在空间中的数个视频捕捉设备将运动物体（跟踪器）的运动状况以图像的形式记录下来，然后使用计算机对该图象数据进行处理，得到不同时间计量单位上不同物体（跟踪器）的空间坐标（X，Y，Z）。近几年来，在促进影视特效和动画制作发展的同时，运动捕捉技术的稳定性、操作效率、应用弹性以及降低系统成本等得到了迅速提高。如今的运动捕捉技术可以迅速记录人体的动作，进行延时分析或多次回放，通过被捕捉的信息，简单的可以生成某一时刻人体的空间位置；复杂的则可以计算出任何面部或躯干肌肉的细微变形，然后很直观的将人体的真实动作匹配到我们所设计的动作角色上去。
结合脑电和运动捕捉可以实现基于心理行为同步或者人机环境数据同步的多模式研究。现在越来越多的研究人员把明显的观察结合其他的生理特征，如脑电波、眼睛的注视轨迹、心率、脉搏、人体运动速度、力量、GPS空间位置、物理环境变化等，进行人机环境同步研究。多源数据同步采集并且可以和视频匹配，能够降低研究的工作量以及提升精确度。本方案结合无线脑电-运动捕捉，可实时显示被捕捉者的动作及脑电数据，具有传统的人机工程分析系统以及人体动作捕捉系统无可比拟的优势。既可以基于实验室进行模拟实验，也可完全脱离固定场地在野外真实世界进行现场研究。
1.3 脑电和运动捕捉同步系统的应用领域
基于脑电和运动捕捉的同步系统主要包括以下应用：
1. 人-机-环境同步技术实现多维数据同步记录分析，结合脑电和人类外显行为的视频数据（动作，姿势，运动，位置，力量，角度，人体震动状态等）进行观察和分析，可以了解所有的内外变化之间的因果关系；
2. 行为和神经科学领域研究，可以记录和分析与运动或锻炼相关任务时大脑和身体的同步动态信息；
3. 生物力学研究，可以分析生物力学的适应、学习、导航和社会交互等；
4. 神经疾病的康复研究，包括帕金森、阿尔兹海默症和自闭症的研究；
5. 医疗领域的步态研究和步态康复；
6. 用于音乐治疗和音乐情感领域，如研究音乐表演和音乐任务期间的认知和运动过程。
2. 系统概述
脑电采集技术作为脑成像的的一种研究方法，具有时间分辨率高、信号直观且无创等特点，同时与其他脑成像技术相比，脑电信号的设备更加轻便，可用于移动状态的信号采集。
动作捕捉是实时地准确测量、记录物体在真实三维空间中的运动轨迹或姿态，并在虚拟三维空间中重建运动物体每一时刻运动状态的高新技术。动作捕捉最典型的应用是对人物的动作捕捉，可以将人物肢体动作或面部表情动态进行三维数字化解算，获得三维动作数据，逼真地模仿、重现真人的各种复杂动作和表情；影视类方面主要用于捕捉动画数据；虚拟游戏方向用于动画数据捕捉和获取位置信息；康复医疗领域用于分析步态和动作矫正等。结合脑电和运动捕捉的同步系统可应用于行为神经科学和生物力学等领域，帮助研究行为和机制的因果关系等。本方案将主要介绍基于脑电-运动捕捉同步系统搭建的方法及意义。
2.1. 基于脑电-运动捕捉的同步系统平台搭建
脑电是从头皮上将脑部的自发性生物电位加以放大记录而获得的图形，是通过电极记录下来的脑细胞群的自发性、节律性电活动。运动捕捉系统则是要测量、跟踪、记录物体在三维空间中的运动轨迹。结合脑电和运动捕捉的优势主要在于：(1)脑电为行为数据提供内在的依据，运动捕捉为脑电数据提供了很好的外在说明；(2)更好的研究认知和运动过程；(3)为临床的康复工程提供研究工具。本方案将结合脑电-运动捕捉介绍该同步系统搭建的方法和应用领域。
2.2. EEG-motion capture同步系统应用实例：自然行为中的认知成像
大脑的功能是适应不断变化的环境并优化我们行为的产物，我们的认知过程和大脑动力学与环境以及我们的物理结构和行为相匹配。为了以最自然的形式研究人类认知，需要对运动状态下的大脑成像，受试者要在完整的三维环境中进行自然动作和交互行为。追求自然动机目标的瞬态分布式大脑活动模式可能影响脑皮质信号；血流动力学成像方法成像速度慢，并且不允许受试者进行大幅度的运动，以避免运动伪迹。为了克服这些限制，本文开发了移动脑/肢体成像（mobile brain/body imaging，MoBI）方法来研究自然人类认知。通过便携式高密度脑电图（EEG）同步记录受试者的脑电信号，身体和眼动信息以及其他生理测量信号，这种MoBI方法能够以最自然的形式研究大脑动力学。我们的研究结果为大脑动力学提供了新的见解，并可以扩展人类认知理论及其进化功能从而优化我们的行为，应对未来的挑战和机遇。
目前标准的脑成像模式主要面临着三个挑战：一是运动伪迹，目前只有尺寸较小的便携式EEG和fNIRS设备适用于测量正常运动范围的大脑信号；二是成像速度，多数脑成像方式的时间分辨率都较低，只有EEG可以满足便携式、高时间分辨率的信号采集；三是运功和认知，涉及复杂运动行为的任务时，想象和实际运动之间会存在差异，这导致自然认知的脑动力学信息可能与静止状态测得的受试者数据不同。
如果伴随运动行为的大脑动力学和相关认知过程受到运动行为的影响，那么静态脑成像方式可能尚未观察到大脑的动态信息成分。文中搭建了基于高密度脑电图的MoBI同步系统，包括EEG系统、动作捕捉系统、眼球追踪系统以及其他生理测量系统。图1给出了几个使用MoBI技术研究的示例，图1A为音乐指挥过程中的数据采集过程，受试者指挥的手中指上配置了一个LED传感器，受试者使用128通道EEG设备和动作捕捉系统；图1B是受试者瞄准飞镖板中心并投掷飞镖的游戏测试。受试者佩戴128通道EEG设备、64个测量颈部肌肉活动的电极、64个手臂电极、作捕捉系统、测力台、视频设备和行为测量系统；图1C是测量受试者在跑步机上的步态研究，佩戴128通道EEG设备、下肢动作捕捉系统、下肢肌电系统和用于手动反应的外部输入装置；图1D是受试者玩飞行球体游戏的实验，佩戴128通道EEG设备，32个测量颈部肌肉活动的电极、上部躯干和手指上的动作捕捉反射器。
图 1 几种MoBI系统的的应用实例
从图1中可以看出，当前的MoBI实验允许参与者以相对自由的方式移动。但是EEG设备、运动捕捉以及其他记录设备的电缆在一定程度上限制了自由活动的范围，同时电缆可能引入外部的干扰。未来可使用无线便携式设备弥补这个缺陷，保证受试者运动状态的自然性并屏蔽数据采集过程中的干扰。
为了研究受试者行为期间大脑的动态信息，需要同步记录EEG、眼动数据和运动捕捉在内的多模态的数据，然后进行联合分析。开发适当的软件来处理越来越多的同步记录数据，以便科学家探索行为和大脑动力学之间的关系。目前加利福尼亚大学圣地亚哥分校Swartz计算神经科学中心已经开发出了一种同步记录系统。该系统主要包括数据采集、数据存储、数据描述、实验控制、事件标记、数据分析等功能。
图2是使用ICA分析的MoBI实验数据。受试者在跑步机上快速行走，同时眼睛观测实验呈现的目标。图2A为使用空间滤波器和ICA算法去除运动伪迹前后的平均ERP图像（浅粉色为去除前，灰色为去除后）。粗体曲线是快速行走状态下，去除非脑成分之前（红色）和之后（黑色）指定位置的ERP图形。脑电地形图是在400ms时原始地形图（左）和去除伪迹的地形图（右）。白点表示指示电极的位置。图2B中最上面一行是脑电地形图；中间一行显示的是矢状面和冠状面上相应的独立成分：颈部肌电成分（黄色）；眼电成分（灰色）和脑电成分（其他颜色）；最下面一行反映颈部肌肉活动以及垂直和水平眼球的运动。
图 2 A）MoBI实验过程中的ERP和地形图；B）使用ICA分析出的眼电和肌电的成分
未来MoBI系统可以应用于多个领域，包括临床上的步态研究和步态康复、根据大脑/行为数据提供个性化培训、神经内科中神经疾病的治疗、精神病如抑郁症和精神分裂症的研究、发展心理学中关于儿童表达和认知能力的研究等。目前本研究的最大障碍是需要更好的数据挖掘工具来解释MoBI获取的大数据集。
3. 系统的同步方案
3.1.便携式脑电采集系统
我们通过直流耦合式模拟前端对脑电放大器进行了小型化设计，并减少了模拟滤波和放大环节，实现了脑电放大器的小型化，增加了电磁屏蔽的功能。便携式脑电采集放大器在静息状态和非屏蔽室环境下表现出了良好的共放大、信噪比特性和稳定性，在抗干扰方面，与电路性能相对占优势的台式脑电采集设备相比，本项目研发的便携式脑电放大器更适合在运动状态下使用。
该脑电采集系统的参数如下：
|
|
64导 |
|
最高采样率 |
16kHz |
|
共模抑制比 |
≥120dB |
|
模数转换精度 |
24bit |
|
系统噪声 |
＜0.4µVrms |
|
输入信号范围 |
±375mVpp |
|
事件同步输入 |
同步，时间精度＜1ms |
|
体积 |
85*55*22mm |
|
重量 |
84g |
|
供电方式 |
内部锂电池 |
|
供电时长 |
单块电池达到4小时，可通过多块备用电池增加连续工作时间 |
|
|
|
图 3 64通道脑电采集系统
该放大器具有以下特点：
(1) 便携可穿戴系统设计：该放大器为便携式设备，采用64通道的无线同步数据采集，可实现自然环境下实现的自由移动；配置有九轴运动传感器，可去除被试在移动过程中信号的干扰。
(2) 高质量脑电信号采集：设备具有低输入噪声和高采样率，动态范围广，电磁屏蔽性好，可实现在复杂环境下的数据采集。
(3) 精准事件同步：可实现多设备间数据高精度同步，以及刺激设备和采集设备高精度同步。
3.2.运动捕捉系统
本方案的脑电放大器采用博睿康的无线数字脑电采集系统，运动捕捉系统分别采用英国的VICON系统和中国的NOKOV系统，分别介绍他们的同步方法和同步效果，方便用户选择。
图 4 VICON运动捕捉系统
3.3.脑电采集软件
脑电采集软件可实现无线放大器采集的脑电信号的同步信号的显示、分析、存储、离线回放等功能。软件可以进行离线阻抗测量，以及在信号采集过程中的实时阻抗监测。电生理信号的一系列特征参数可以通过软件进行实时观测与分析。相关数据可以通过数据接口进行实时传输，供其他软件进行数据整合与分析。
图 5 脑电采集软件界面
3.4.运动捕捉系统数据采集分析软件
运动捕捉数据采集分析软件可提供全部的操作处理和观察界面，支持操作完成系统标定及数据采集工作。支持多窗口显示，方便操作；捕捉区域、反光标试点及运动轨迹、虚拟标识点及运动轨迹均支持选择显示或隐藏，提高操作效率。
多参数同步器是无线数字脑电采集系统的重要组成部件，也可与其他类型的放大器配合使用。在本方案中，多参数同步器可以保证无线脑电放大器和运动捕捉系统的同步，同步精度最高可达3ms。
图 7 多参数同步器
3.6. 同步方案设计
EEG与运动捕捉系统同步的方法有以下两种：
1. Vicon运动捕捉系统通过RCA口与多参数同步器的Trigger-in端口相连，需要打入标记时Vicon的RCA端输出的TTL电平发送至多参数同步器的Trigger-in端口进行标记，多参数同步器和脑电放大器本身是同步的，因此实现运动捕捉与EEG设备的同步。
2. Vicon运动捕捉系统通过RCA口与多参数同步器的Trigger-out端口相连，需要打入标记时多参数同步器的Trigger-out端口发出TTL电平至运动捕捉系统的RCA端口进行标记。
注：Nokov运动捕捉系统与Vicon系统类似，唯一的区别是Nokov系统是通过BNC端口进行同步触发。
图 8 EEG与Vicon运动捕捉系统的两种同步策略
3.7. 关键技术和解决途径
无线脑电采集
生物电信号，尤其是脑电等微弱生物电信号，由于其幅值微弱，淹没在周围各类电磁干扰信号中，因此对信号采集前端的精度与抗噪声能力要求很高。为满足高精度弱信号采集的要求，系统采用低增益放大结合完全数字滤波的无损宽频直流耦合技术。较传统方案相比，该技术能够实现对宽频带信号的高精度采集，同时对放大器的电磁屏蔽性做了改进，保证了脑电数据采集的平稳。
脑电中的运动伪迹
脑电信号属于微弱生物电信号，一般要求脑电设备非常灵敏，所以脑电信号中会包含各种伪迹。运动伪迹一般是由于受试者在实验中发生的一些移动、头部或者身体的一些晃动造成的，在EEG-motion capture同步采集期间肯定会产生。为了满足实验要求，放大器采用的九轴运动传感器，可以消除受试者运动期间产生的EEG运动伪迹。
系统同步
为实现EEG-motion capture同步系统达到预期效果，关键点在于二者的精确同步。motion capture在全分辨下的采样频率为120-420Hz；脑电的采样率为1000Hz，因此二者的同步精度取决于motion capture的设备采样率。在本系统EEG-motion capture的同步精度可达3ms。
3.8.系统特点总结
本项目所采用的EEG-motion capture同步系统具有以下特点：
（1）本系统研发的无线脑电放大器具有便携可穿戴的特点，同时具有高信号质量和电磁屏蔽性好的特点，可以在自然环境下使用并且信号不受环境影响；
（2）系统可在捕捉动作的同时去除脑电中的运动伪迹；
（3）系统可以实现最高3ms的同步精度。
