肢体运动是大脑与外界交互的主要方式,它一直是神经科学研究和脑机接口技术关注的重要领域。近20年来,通过解码相关神经活动逐步实现了对运动假体的实时控制,为神经系统功能的代偿和康复打开了一扇希望之窗。
作者|王天威崔翯
人的想象力总是先于现实,正如儒勒凡尔纳在作品中对20世纪科技的预言一样,当今科幻文学和影视作品对人的意识发生机械性的飞跃已经展开了大量的讨论,但在现实中,该技术的开发仍然主要是针对人体运动障碍的根据中国残疾人联盟2020年的统计数据,中国目前有近4000万残疾人,其中肢体残疾人占一半以上。 加上如此庞大的残疾人基数和日益严重的社会老龄化问题,神经假肢及相关辅助工具在运动康复中的应用具有极大的社会意义和商业价值。
神经假肢是指通过采集和解码神经信号驱动外效应器实现运动损伤补偿的技术,是脑机接口技术的主要应用领域之一。 神经假肢控制系统通常分为信号采集、信号处理和外围设备控制三部分。 目前通行的方法是通过核磁定位来定位移植的脑位点,再行开颅手术植入电极,采集皮质场电位或神经脉冲信号。 这些电信号经过滤波、降噪、分选等预处理后,通过传统的回归、分类算法或神经网络解码得到被测者的运动意图信息,产生运动指令驱动外部设备。
在神经科学研究、信号采集硬件和算法迭代快速的背景下,运动体模的发展即将开启新的篇章,充分利用神经科学研究大脑功能的成果,寻找合适的信号源和应用场景,在解码和自适应中结合人工智能算法,更加准确
基于神经表征的假肢控制
目前,神经科学的主流观点认为,大脑中不同的功能分区发挥不同的功能,它们编码的信息存在差异。 近几十年来对清醒猕猴的神经生理学研究,基本假设皮质神经活动与肢体运动参数(方向、速度、加速度、张力等)存在相应的映射关系,建立了表达模型,认为大脑是通过运动信息的表达和编码运算发挥作用的。 该特征以神经同步的形式反映于单个神经元,即单个神经元发出的电信号与某些变量相关。 支持这一观点的代表性成果是乔治波罗斯(A. P. Georgopoulos )等人于1982年发表的,他们训练猕猴完成平面上8个方向的推杆运动,同时获取运动皮质手臂运动代表区的神经元活动数据发现该发放率差异与运动方向的关系能很好地拟合余弦曲线,拟合余弦曲线
弦调制[1]。在此基础上,他们又在1986年提出了群体向量法,实现了对手动方向的解码。他们通过计算单个神经元的方向调制函数,将发放率最高的方向定义为该神经元的偏好方向,单个神经元活动即可表示为指向其偏好方向,长度等于其实时发放强度的向量。当同时记录多个神经元时,这些向量之和得到的群体向量的方向与真实伸手运动的方向一致,从而实现了对运动方向的解码。这一发现对神经运动控制与后续脑机接口研究具有奠基性意义,它不仅提出了作为原型解码算法的群体向量法,更引领后续研究将重心从经典皮质—脊髓—肌肉投射所代表的内部参数空间,转向关注运动效应器所代表的外部参数编码。猕猴8方向推杆实验中的神经元信号及方向调制 (a)8方向推杆运动;(b)推向不同方向时,猕猴运动皮层神经元的动作电位;(c)动作电位的发放率差异与运动方向间的关系可被余弦曲线很好拟合;(d)同时记录多个神经元时,它们的群体向量的方向与真实伸手运动的方向一致。
在神经元对各类运动参数的表征调制的研究工作发表之后,脑机接口技术经历了一段快速发展的时期。尽管表征模型远非完美,但是所积累的实验结果显示这种编码关系具有可靠的相关性,其中群体向量算法不仅为运动皮层神经元如何以群体活动为运动方向编码提供了创新的思路,也为研发多通道微电极同时记录技术的需求提供了更充分的理由。技术上的进展和对多维运动方向解码编码的运算能力,使研究者可以从清醒猕猴实验基础上过渡到临床患者试验的阶段,从而完成了关键的概念验证性工作。
经典的假肢控制流程可以先由神经调制解码得到运动的方向与速度,这种解码指令以每百毫秒的速度进行迭代,持续地输出控制指令,以驱动屏幕上的光标。但由于光标控制具有维度低、无惯性、视觉反馈清晰的特点而使其便于实现。而真实三维场景下的机械控制则要困难许多,美国匹兹堡大学施瓦茨(A. B. Schwartz)实验室在2012年实现了7自由度的机械臂控制[2]。他们采用来自约翰·霍普金斯大学应用物理实验室研发的拟人化假肢(MPL),帮助一名完全运动性损伤的52岁患脊髓小脑变性的患者实现了神经假肢控制。通过在患者运动皮层植入两枚犹他阵列,将来自皮层的信号以30毫秒时间窗重采样后,遵循如下方程完成解码器的训练与解码:
f=b0+bxvx+byvy+bzvz+bθxvθx+bθyvθy+bθzvθz+bgvg
在方程所示的三维抓取控制中,神经活动f不仅包含三维空间速度vx、vy、vz,还包含效应器姿态朝向vθx、vθy、vθz和抓握指令vg等信息。在脑机接口的控制环节,解码器的作用是将输入的神经信号转换为控制信号输出。输出信号通常为多个独立变量,关系到后续外设的运动规划。解码器的训练则依赖于少量训练集数据和多种算法,常见算法有维纳滤波器、卡尔曼滤波器、支持向量机、极限梯度提升(extreme gradient boosting)、循环神经网络、重校准卡尔曼滤波器(ReFIT-KF)、朴素贝叶斯、门控循环单元、长短记忆网络等[3]。
在实现脑控的过程中,不仅需要搭建复杂的解码器,脑控系统的学习训练往往更困难。上文所述的任务训练中,被试系统经历了3D空间平移、4D平移与抓握、7D平移与姿态和抓握控制三个学习阶段,共计13周。使用神经信号控制实体机械臂的难度绝非光标控制可比,被试者还需要适应外设的运动学特性以产生相应的神经动态变化,但本体感觉(运动器官本身在不同状态时产生的感觉)反馈的缺失使得这一过程变得尤为困难。除此之外,由于电极的漂移,隔天的神经信号可能会发生变化,这意味着前一天的解码器在后一天需要重新校准。在解码器训练与校准的过程中,需要添加一些辅助权重,以确保被试系统的控制表现维持在60%~80%的正确率。在无辅助的脑机接口控制学习过程中,运动和记录到的神经活动将表现出很大的试次间变异性,即神经活动在相似行为间表现出的非线性差异,这是由于任务无关方差产生的不稳定控制。训练脑控的过程就是为了降低任务无关方差,增强并固化任务相关方差,实现稳定可靠的神经控制[4],在系统学习过程中增加控制辅助权重可以有监督地加速这一过程。
基于神经科学的控制创新
在动物模型中,越来越多的脑机接口正在生物体内部搭建电子桥梁,这被称为循环式脑机接口(recurrent BCI)[5],指将神经元的动作电位转换为传递到运动系统下游的刺激,从而使皮层信号直接激活肌肉、脊髓或其他脑区,它在桥接神经连接截断方面具有明显的应用潜力。这一策略旨在利用剩余神经回路的内在能力和它们的可塑性来恢复功能。它强调了神经可塑性在脑机接口研究中的重要性。研究表明,从目标位置到关节运动、扭矩和肌肉激活模式,运动皮层的活动与多种运动参数相关,而这种相关性又会表现出非线性的相互作用与时程的不稳定性。这使得算法的构建变得困难且缺乏实用性。究其原因,部分源于研究者主要关注皮层的编码性质,而缺少对下行通路到肌肉的解码过程的研究。肌肉功能性电刺激仍然是目前少数经临床证明有效的假肢治疗方法之一,它可以帮助患者实现基本的抓握、站立、膀胱控制和运动康复[6]。与常见的脑机接口控制不同,这种方法并非使用算法解码神经信号,而是利用现有生物体自身的下行信号读出系统,依赖神经可塑性实现信号通路的重建,同时在控制过程中可以获得本体感觉的上行反馈,大脑脊髓肌肉的协同响应对神经康复产生了有益的影响。
神经的异质性表现为混合编码的非线性与偏好的时变性,这使得基于表征理念构建的解码系统难以完成复杂环境下的动态任务[7]。随着大规模神经信号采集技术的成熟,谢诺伊(K. V. Shenoy)实验室提出并发展了运动皮层的动态系统观点[8],从而改变了研究者看待皮层神经控制的视角,从关注信息编码转向关注振荡信号的时间演化性质。该观点认为,皮层信号在运动的准备期与执行期处于相互的正交空间,具有不同的功能;神经群体活动的振荡可能是在产生时序复杂的肌肉响应时自发产生的,单神经元的运动学参数选择性可能只是这一过程的副产品;时间信息才是神经编码的最大成分。在此基础上,谢诺伊实验室2021年又发表了最新的打字脑机接口工作[9],实现了每分钟输入90个字母、正确率达到94%。其核心亮点在于突破了传统的范式设计,构建了一套完全遵循动态系统观点的解码系统。经典的打字场景是被试者通过神经信号控制光标移动并点击虚拟键盘完成输入,但是运动的不稳定性,光标移动距离等因素都非常耗时。谢诺伊等人则要求被试者想象书写要输入的字母,这时运动皮层会产生相应的振荡信号。由于不同字母的书写轨迹差异明显,如笔顺、笔画、弯折的数量与其消耗的时间,而运动皮层又主要编码时间信息,这就使得书写运动想象的神经信号非常易于解码。该工作为实现书写信号的抓取,采用隐马尔可夫模型(一种统计模型,可用来描述一个含有隐含未知参数的马尔可夫过程)和时间扭曲算法(TIMe warp,可用于将具不同时间长度的试次中记录到的神经信号变换为具相同时间长度的数据,以实现时间对齐),分别进行起始状态估计和时间压缩对齐,它们是在解码器方面的重要创新。
基于手写轨迹与神经动态性的脑控打字系统[9] (a)基于手写想象的脑控打字系统示意图。被试者通过想象书写字符产生神经振荡,植入在被试者运动皮层中的阵列电极采集到这些信号并传输至解码计算机,在屏幕上呈现出打字的效果。(b)想象书写得到的运动轨迹。(c)手写想象的高维神经群体信号的二维展开结果(使用t-SNE算法。每个圆点表示一个试次,不同试次的信号清晰地按照对应字母聚类)。
通过双向闭环脑机接口控制运动假体[10] (a)被试者控制机械手进行三维空间运动。(b)在控制神经假肢的过程中,植入在运动皮层的阵列(蓝色线所示)采集到的神经信号用于解码运动意图,控制机械手;机械手运动过程中产生的触碰则通过植入在感觉皮层的阵列(红色线所示),以微电流刺激的方式写入大脑。(c)展示植入在感觉皮层的阵列的各个通道对应的手部感觉位点。(d)微电流刺激的幅值与指关节力矩的编码关系。(e)通过神经活动解码末端效应器运动速度的示意图。
脑机接口训练过程中的神经学习,同样是影响假肢控制的关键问题。有关脑控过程中神经群体的学习研究发现,神经元可以改变其调谐特性,这种改变通常是神经群体协同的,且不同脑区的学习能力有差异。正如控制信号的修正依赖于反馈信号,如今的脑机接口控制过度依赖视觉反馈而缺少本体感觉反馈。由于被试者常常是高位截瘫患者,神经信号解码为控制指令引导效应器运动,但控制过程中被试者只能通过视觉观察运动结果获得反馈。这种控制系统中的信息是单向流通的,控制指令与预期结果无法及时反馈给大脑皮层,大脑内也就难以形成关于外部设备运动的前向控制模型。因此,双向闭环脑机接口成为近年的研究重点。该技术的目的是在脑控的同时,通过电刺激向大脑的本体感觉皮层写入触觉和本体感觉信息,使被试者不仅可控制机械臂完成抓取运动,还可以感知到抓握的力度和物体的纹理、质量等信息。研究发现,通过这种方法将触觉感受写入皮层后,可以极大提升被试控制机械臂的表现[10]。
结 语
尽管脑机接口技术发展已有半个世纪,但运动神经假肢的研究仍处于起步阶段,目前的成果得益于以清醒猕猴为模式动物的系统神经科学领域的长期积累。几十年来神经科学家与医学工程学者在基础研究和转化方面的合作创新,使神经假肢技术从实验室走进公众视野。但由于缺乏对运动控制神经机制的根本性认识,建立在表征模型基础上的神经解码策略只能从概念上加以简化,迭代指令解码的运动输出也不可避免地出现迟滞顿挫,从而使人工假肢的实用功能受到限制。
通过脑机接口技术实现对运动假体快速、灵活、柔顺的控制,无疑是一个复杂而渐进的过程,在此过程中基础研究和工程应用的界限,将不再泾渭分明而是相互融合,这需要长期的人力投入与学科协作,更需要自愿受试的冒险家和社会的持续关注。不论是脑科学的研究,抑或脑机接口技术临床应用的研究,灵长类神经生理学的实验方法和手段仍将是今后必不可少的研究利器。同时,残障病患者的脑机接口临床经验,是探索人脑认知和运动学习等基础课题的宝贵财富。从某种意义上看,人体的神经运动控制是一种通过千百万年进化形成的“脑机接口系统”,脑机接口试图搭建的复杂系统是人类的第二躯体,这意味着人类对自身的认识也将伴随着对自身的再创造。
参考文献
[1] Georgopoulos A P, Kalaska J F, Caminiti R, et al. On the relations between the direction of two-dimensional arm movements and cell discharge in primate motor cortex. J Neurosci,,(11):–1537.
[2]Collinger J L, Wodlinger B, Schwartz A B. Degree-of-freedom neuroprosthetic Control by an individual with tetraplegia. The Lancet,,:–564.
[3]Glaser J I, Chowdhury R H, Perich M G, et al. Machine learning for neural decoding. arXiv,.
[4]Athalye V R, Ganguly K, Costa R M, et al. Emergence of coordinated neural dynamics underlies neuroprosthetic learning and skillful article emergence of coordinated neural dynamics underlies neuroprosthetic learning and skillful control. Neuron,,:-970.
[5]Fetz E E. Volitional control of neural activity: implications for brain-computer interfaces. J Physiol,,:–579.
[6]Peckham P H,Kilgore K L. Challenges and opportunities in restoring function after paralysis. IEEE Trans Biomed Eng,,:–609.
[7]Wang T. From parametric representation to dynamical system: shifting views of the motor cortex in motor control. Neurosci Bull,. doi:10.1007/s12264-022-00832-x.
[8]Vyas S, Golub M D, Sussillo D, et al. Computation through neural population dynamics. Ann Rev Neurosci,:–275.
[9]Willett F R, Avansino D T, Hochberg L R, et al. High-performance brain-to-text communication via handwriting. Nature,,(7858):-254.
[10]Flesher S N, Downery J E, Weiss J M, et al. A brain-computer interface that evokes tactile sensations improves robotic arm control. Science,,(6544):-836.