脑电-MR的无人机控制系统

脑-机接口系统是通过采集并分析脑电等生物电生理信号，得到人的主观意图，并将其转化为外部设备的控制信号，在人脑与外部设备之间建立直接的连接通路。脑-机接口系统平台包括脑电信号的采集与传输，信号在线分析，控制命令输出等功能。而便携脑-机接口系统将传统脑-机接口系统中的信号采集、信号分析、指令控制等各模块实现了便携化、可穿戴设计，让使用者能够在日常生活场景中也能够使用脑机接口系统，极大地拓展了脑机接口系统的应用场景。

1.3 定义

脑-机接口系统操控军事设备是近年来各国军方的热门研究课题之一。其精确控制需要几个方面的条件：系统功能和技术参数达到一定标准；体积小巧（最好可以实现便携式佩戴）；抗干扰能力强，以适应各类复杂特殊的实验环境；具备稳定高效的实时在线系统等。而该系统的关键是同步精度，如果同步精度无法达到要求，整个在线系统准确性将无法得到保证，其本应发挥的作用将不复存在。本系统的脑电信号与刺激信号的同步精度在1ms，以保证脑-机接口系统能够精确稳定的运转。

2.系统概述

本项目将脑电放大模块和SSVEP的刺激模块实现便携化，微型化，可以实现便携式的脑-机接口系统搭建，该系统可以实现受试者在移动过程中或者户外环境下进行人机交互。为此我们开发了一种新型的便携式脑电放大器，兼顾了设备采集信号的高质量和长时程，同时为了满足自然场景下的控制需求，系统实现了基于混合现实眼镜的刺激系统，取代了原来实验室环境下所使用的LED灯和电脑显示器等刺激源。基于稳态视觉诱发脑电（SSVEP）和混合现实（MR）的脑-机接口控制策略，可以实现脑机接口系统完全的便携化。

2.1 系统可以达到的指标

a.系统支持同步和异步在线脑电信号处理；

b.稳态视觉诱发电位（SSVEP）范式支持混合现实头盔（微软Hololens）；

c.SSVEP范式能产生有效的脑电信号模式，分类正确率达到80%以上；

d.SSVEP范式中目标数最多可达40个；刺激呈现区的大小、位置可设置，每个刺激在刺激呈现区中的位置可设置，每个刺激区域的大小可设置；

e.系统提供数据和指令的通信接口，支持TCP、UDP通信协议；

f.SSVEP范式中，支持与外部设备（无人机）的通信；

g.提供了简单易用的途径用于设置实验参数及刺激范式中可调的参数，如以下参数：刺激个数，刺激频率，刺激时间，刺激的布局，获取脑电数据的导联位置等。

2.2 便携式脑电采集系统

由于目前商用脑电设备普遍体积较大，并不适用于便携式脑-机接口系统实际操控场景的需要，因此我们通过直流耦合式模拟前端对脑电放大器进行了小型化设计，并减少了模拟滤波和放大环节，实现了脑电放大器的小型化。便携式脑电采集放大器及脑-机接口系统在运动状态下的表现出了良好的共放大、信噪比特性和稳定性，在抗运动干扰方面，与电路性能相对占优势的台式脑电采集设备相比，本项目研发的便携式脑电放大器更适合移动状态下的脑-机接口应用。

该脑电采集系统的参数如下：

通道数	64导
最高采样率	16kHz
共模抑制比	≥120dB
模数转换精度	24bit
系统噪声	＜0.4µVrms
输入信号范围	±375mVpp
事件同步输入	同步，时间精度＜1ms
体积	855522mm
重量	73g
供电方式	内部锂电池
供电时长	单块电池达到4小时，可通过多块备用电池增加连续工作时间

图 1 64通道脑电采集系统

该放大器具有以下特点：

(1) 便携可穿戴系统设计：该放大器为便携式设备，采用64通道的无线同步数据采集，可实现自然环境下实现的自由移动；配置有九轴运动传感器，可去除被试在移动过程中信号的干扰。

(2) 高质量脑电信号采集：设备具有低输入噪声和高采样率，动态范围广，电磁屏蔽性好，可实现在复杂环境下的数据采集。

(3) 精准事件同步：可实现多设备间数据高精度同步，以及刺激设备和采集设备高精度同步。

3.运行环境规定

3.1.设备

无线脑电放大器

混合现实头盔（微软Hololens）

无人机（外控设备）

3.2.支持软件

Win7以上的64位操作系统

Recorder记录软件

SSVEP刺激程序

4.系统设计分析

4.1.系统应用

生物电信号采集系统采用64通道无线脑电采集系统实现。脑电是所有生物电信号中最为微弱，采集难度最高的信号。无线脑电采集系统采用的高精度微弱生物电信号采集技术，可以满足包括脑电、心电、肌电等各类生理电信号的采集需求。系统体积小巧，可以实现便携式佩戴，抗干扰能力强，适应各类复杂特殊的实验环境。

无线脑电采集系统可应用于神经科学、心理学、人因科学等领域的研究中，系统可为研究提供可靠的脑电等电生理信号的采集与分析平台。系统无线便携抗干扰的设计，在各类实验环境、实验任务下，都能稳定地采集到研究级别的电生理信号。

4.2.基于SSVEP脑-机接口的便携式无人机控制系统组成

基于SSVEP脑-机接口的便携式无人机控制系统主要包括以下组成部分：

$C:\Users\neuracle\AppData\Local\Temp\1575369583(1).png$

图2 无人机控制系统示意图

a) 64通道脑电采集系统

64通道脑电采集系统主要包括脑电帽，脑电放大器和多参数同步盒。脑电帽采用银氯化银粉末电极，电极极化电压低，保证脑电信号的稳定采集。放大器的低输入噪声和高采样率，动态范围广，电磁屏蔽性好，可实现在复杂环境下的数据采集。多参数同步盒主要用于脑电设备和其他设备的同步，以及和刺激信号的同步等。

$C:\Users\neuracle\Documents\WXWork\1688852806285062\Cache\Image\2019-10\未标题-23(1)(2).png$

图3 受试者所佩戴的无线放大器

b) 脑电采集软件

脑电采集软件可实现无线脑电放大器采集的脑电等电生理信号，以及多参数同步器采集的同步信号的显示、分析、存储、离线回放等功能。软件可以进行离线阻抗测量，以及在信号采集过程中的实时阻抗监测。电生理信号的时频分析以及一系列特征参数可以通过软件的趋势图分析功能进行实时观测与分析。相关数据可以通过数据接口进行实时传输，供其他软件进行数据整合与分析。

图 4 脑电采集软件界面

c) SSVEP在线系统

$C:\Users\neuracle\AppData\Local\Temp\1575369524(1).png$

图5 SSVEP控制无人机界面

本系统选取8-15Hz的频段作为SSVEP的刺激频段，刺激频率间隔为1Hz，分别代表了前、后、左、右、升、降、起飞、降落的无人机控制命令。为满足无人机系统的控制速度与控制精度，在脑-机接口系统数据处理中采用了基于滤波器组典型相关分析（filter bank canonical correlation analysis，FBCCA）方法，该方法在不需要训练数据的情况下可以实现较高的识别准确率（90%以上）和较快的识别速度（单个指令识别时间1s）。

d) 外控设备（无人机）和无人机控制台

该系统可以实现快速准确的控制无人机。系统使用显示器呈现稳态视觉刺激，同时为了满足自然场景下的控制需求，系统实现了基于混合现实眼镜的刺激系统，整套系统可以完全在户外实现运行。如图6所示。

图6 结合混合现实（MR）的SSVEP脑-机接口系统

该系统主要用于实现稳态视觉诱发电位（SSVEP）范式的刺激界面扩展到便携式设备中，把刺激界面从台式电脑屏幕扩展到可穿戴的MR设备，整个系统搭建的环境更加自然。

4.3.系统框架设计

该系统主要实现虚拟环境下的稳态视觉诱发电位（SSVEP）范式的搭建和在线分析，框架如下：

1530673490(1)

图7 结合混合现实（MR）的SSVEP脑-机接口系统框架图

HoloLens主要用于提供刺激环境，实现刺激场景的便携化；脑电放大器佩戴在受试者的枕区，实时采取受试者的脑电信号，同时通过TCP/IP将数据发送给SSVEP在线程序进行分析；在无人机后台将无人机的飞行指令设置为与SSVEP的目标分别对应；SSVEP在线程序将分析的结果发送给无人机控制台，控制台通过无人机的WiFi实现对无人机的控制。

4.4.关键技术和解决途径

脑电采集

生物电信号，尤其是脑电等微弱生物电信号，由于其幅值微弱，淹没在周围各类电磁干扰信号中，因此对信号采集前端的精度与抗噪声能力要求很高。同时系统需要在可佩带的体积内实现。

为满足高精度弱信号采集的要求，系统采用低增益放大结合完全数字滤波的无损宽频直流耦合技术。较传统方案相比，该技术能够实现对宽频带信号的高精度采集，与传统方案相比，电路体积能够减小85%以上。

便携式的SSVEP刺激呈现

实现便携式的SSVEP系统要求两点：一是SSVEP的输出要快速准确；二是SSVEP的刺激呈现要脱离实验室环境内的屏幕，可以在受试者更自然的状态下实现刺激呈现。为此我们采用了基于滤波器组典型相关分析（filter bank canonical correlation analysis，FBCCA）方法，并采用混合现实（MR）技术与脑电结合的方式，将刺激源和脑电采集设备都可以穿戴在受试者身上，与传统实验室环境下的SSVEP范式相比，便携式的SSVEP的实现方式更加自然，更加适合脑-机接口的特点，同时系统的抗干扰能力、准确率和响应速度也有了很大提升。