桂林微信网站设计,数据网站建设成本,网站建设费长期待摊费用,自媒体视频发布平台来源#xff1a;智东西脑科学问题是人类社会面临的基础科学问题之一#xff0c;是人类理解自然和理解人类本身的待深入探索领域#xff0c;而脑机接口是有效探索手段之一。在国家战略的积极推动下#xff0c;在科技创新不断更迭促进下#xff0c;在人民大众期待关注下智东西脑科学问题是人类社会面临的基础科学问题之一是人类理解自然和理解人类本身的待深入探索领域而脑机接口是有效探索手段之一。在国家战略的积极推动下在科技创新不断更迭促进下在人民大众期待关注下脑机接口技术将发挥重要作用。本期的智能内参我们推荐中国信通院的报告《脑机接口总体愿景与关键技术研究报告》勾画脑机接口产业发展的蓝图和愿景期望。来源 中国信通院原标题《脑机接口总体愿景与关键技术研究报告》作者未注明一、脑机接口系统的总体愿景大脑是我们思想、情感、感知、行动和记忆的源泉大脑的复杂性赋予我们人类智慧同时使我们每个人都独一无二。近年来研究大脑认知的神经科学已经在分子细胞、关键元器件、软硬件开发、应用系统、仪器仪表等多方面取得进展和突破使得脑机接口产业的商业应用逐渐成为可能。脑机接口是指在有机生命形式的脑与具有处理或计算能力的设备之间创建用于信息交换的连接通路实现信息交换及控制。脑机接口已成全球科技前沿热点在面向未来的科技创新发展中占有重要地位。世界主要国家和地区都在加快脑机接口产业布局积极开展相关技术研发。脑机接口技术也将带动和引发其他技术的未来发展。脑机接口技术是人与机器、人与人工智能交互的终极手段也是连接数字虚拟世界和现实物理世界的核心基础支撑技术之一同时其与量子计算、云计算、大数据等信息通信ICT技术的结合将成为各领域新的重要研究方向。可以确定地说受益于技术的不断革新与突破脑机接口将会显著提升人类生活质量。脑科学问题是人类社会面临的基础科学问题之一是人类理解自然和人类本身的“终极疆域”而脑机接口是破解该“终极疆域”的有效手段之一。在国家战略的积极推动下在科技创新不断更迭促进下在人民大众期待关注下脑机接口技术将发挥重要作用。脑机接口技术涉及脑科学、人工智能技术、信息通信技术、电子信息技术和材料学。未来的脑机接口技术应实现“脑智芯连思行无碍”这一行业发展总体愿景。其中“脑”寓意为大脑和思维意图“智”寓意为人工智能和类脑智能“芯”寓意为以芯片为代表的外部设备“连”有通讯、接口、协同三重含义。通过“脑智芯连”的科学融合实现“思行无碍”的目标即期待大脑及人类智能和外部设备相互连接后人类的思想和行为控制之间不再有疾病和空间的障碍人类的能力得到显著增强不再承受神经疾病带来的痛苦。为促进“脑智芯连思行无碍”这一愿景目标的实现报告提出脑机接口系统应满足“准确、高效、稳定、易用和安全”五大需求。脑机接口系统应具有准确的大脑意图解码算法高效的信息解码效率快速地反馈响应和执行任务稳定的设备性能与抗干扰能力易用、轻便、舒适的使用体验安全的植入、采集和信息传送保障。▲脑机接口系统的五大需求支撑愿景实现脑机接口应从性能指标与可用性指标两个方面有效衡量脑机接口系统是否满足五大需求。性能指标主要体现在响应时间、识别正确率、可输出指令数量和菲茨吞吐量四个易量化指标可用性指标主要体现在易用性、长效性、鲁棒性、安全性和互操作性五个指标。这些指标在不同技术路线下、不同应用场景下的需求各有差异但基本涵盖了脑机接口技术和系统各方面要求。经过分析和产业调研报告也给出了为促进愿景目标实现的各指标的建议值从而为业界的技术创新和系统开发提供一定的参考。▲脑机接口系统的关键指标脑机接口总体愿景的实现也离不开核心关键技术的支撑。关键技术包括采集技术、刺激技术、范式编码技术和解码算法技术。关键技术面向不同场景衍生出不同应用。本报告就当前主流应用场景进行归纳并分为三类分别是脑状态检测、神经调控和对外交互技术等。二、脑机接口系统应满足的需求及关键指标1、脑机接口系统应满足的需求准确在脑疾病诊断、行为辅助决策、外设交互控制等应用场景下共性需求是系统能稳定做出识别正确率较高的判断即系统虚警概率低识别精确这样外部计算设备才能对大脑的需求正确反馈。识别正确率是系统核心需求之一。高效脑机接口技术产业发展和应用一个重要前提就是高效最好能够达到和肢体响应一样甚至更快的效率实现人机快速响应。指令交互、打字、控制机械外骨骼等应用场景下如出现秒级延误则给用户体验带来较为负面的影响。这要求系统快速解码识别大脑意图并做出反馈响应时间是衡量快速响应的核心关键指标。系统快速响应性能需要范式编码、算法解码和系统通信技术相互配合。在实际应用落地过程中也应兼顾“快”、“准”、“稳”等方面协同发展。稳定脑机接口本质上是一套通信系统在不同的应用场景下都需要考虑系统各项指标的稳定和抗干扰能力即系统的长效性和鲁棒性。长效性是指系统需要保持长期性能稳定。系统能在较长时间内各项性能指标不出现较大波动。鲁棒性是指系统在一定的外部干扰情况下依然能够保持稳定的工作性能指标。在植入式脑机接口应用场景中由于电极易于失效系统更侧重长效性指标而在非植入式场景由于信号易受干扰更加侧重系统鲁棒性。易用易用包含“轻便”与“便捷”两个含义。“轻便”在非植入情形下指脑机接口系统轻巧便于携带在植入情形下指植入物尺寸小、重量轻。沉重的脑机接口系统一方面可能导致用户接触时造成身体压迫产生不适感不利于长期使用。另一方面不利于外出携带难以采集大范围的脑信号从而难以实现更广泛的场景应用。“便捷”是指脑机接口系统具有操作便捷性。一方面需要降低使用者的操作复杂性避免复杂的调试和维护等工作。尤其是在消费场景下有必要尽量缩短设备部署时间、人机适应时间实现快速交互。这就需要尽量减少和压缩模型训练时长调试时长从而提升用户对产品的接受度。另一方面普及无线信号传输摆脱有线束缚使用起来更加方便。此外可考虑与智能外设如智能耳机等终端设备进行系统化设计提升使用的舒适性、便携性。安全脑机接口系统作为一种人机交互系统在安全方面要考虑的因素包括系统需要在软件和硬件方面能有效防御外部恶意攻击避免数据被窃或恶意篡改系统需要内置一定的安全自检机制在机制和制度保障方面需要有合法合规的信息与科技伦理制度、法规、倡议、指南和标准确保神经隐私与神经权利不受侵犯保障系统用户的人身健康安全。对植入式脑机接口系统来说在电极材料选择上要考虑散热性能、要确保植入后人体安全需要对植入物的质量、形状、功耗和应用场合进行限定以避免损害生物组织。对于非植入式脑机接口技术来说不当的使用方法可能存在潜在的人身安全隐患需要对脑机接口系统的使用安全性做严格要求。2、脑机接口系统的关键指标目前脑机接口技术正从“学术科学探索”走向“应用转化落地”。为推进产业落地工作的开展本报告从性能和可用性两方面提出满足五大需求的脑机接口系统关键指标。性能指标包括响应时间、识别正确率、可输出指令数量和菲茨吞吐量可用性指标包括易用性、长效性、鲁棒性、安全性和互操作性。易用性指标进一步通过准备时长、轻便性和舒适性体现。目前脑机接口技术正从“学术科学探索”走向“应用转化落地”。为推进产业落地工作的开展本报告从性能和可用性两方面提出满足五大需求的脑机接口系统关键指标。性能指标包括响应时间、识别正确率、可输出指令数量和菲茨吞吐量可用性指标包括易用性、长效性、鲁棒性、安全性和互操作性。易用性指标进一步通过准备时长、轻便性和舒适性体现。▲脑机接口系统的关键指标性能指标在脑机接口研究中往往以信息传输速率Information transfer rate,ITR作指标评价系统的性能。ITR 的大小与系统的响应时间、识别正确率与可输出指令数量相关是一项综合反映脑机接口系统多方面性能的指标。但仅以 ITR 作为性能指标很多时候无法体现响应时间、识别正确率与可输出指令数量分项指标各自的重要性甚至可能导致某项关键指标被忽视。因此本报告在分析系统性能指标时从响应时间、识别正确率、可输出指令数量和菲茨吞吐量四个方面综合评估描述脑机接口系统应具备的性能。响应时间是指脑机接口系统对使用者单次脑意图响应所需的时长具体包括单次响应所需的信号采集时长、脑信息解码时长又称计算时长和系统通信时长三部分。其中所需的信号采集时长指脑机接口系统采集解码用生理信号所需要的时长。脑信息解码时长是指系统对所采信号进行解码以理解用户意图所需的时长。系统通信时长是数据包在系统各模块间传递的时延。响应时间可以有效反映脑机接口系统的通信效率也是反映人机交互顺畅与否的核心关键指标。在不同范式、应用场景下系统响应时间差异较大。对于头皮脑电Electroencephalograph,EEG、皮层脑电图ElectrocorticogramECoG等实时性较高的电信号采集系统来说比较理想的响应时间是在脑状态检测场景下建议不大于 10 秒在神经调控场景和对外交互场景下建议不大于 1 秒。对于以功能近红外光谱Functional near-infrared spectroscopy, fNIRS为代表的信号采集系统来说由于血流动力学参数变化较触发事件具有滞后性因此此类系统的交互响应时间较长。识别正确率是指脑机接口系统为识别人脑意图进行解码的正确率该指标是衡量系统性能的核心指标。在脑机打字、脑控机器人等特定场景下识别正确率经常用任务成功率表示。任务成功率是指成功完成控制任务的次数和控制任务执行总次数之间的比值。比较理想的识别正确率在脑状态检测场景下不应小于 85%在神经调控场景下不应小于 95%在对外交互场景下不应小于 95%。对脑机接口离线数据进行调参时往往因为样本量较小而容易造成模型的过拟合。为验证脑机接口系统的泛化性本报告中的识别正确率建议由实时在线验证实验所得。可输出指令数量即脑机接口系统可以解码的脑意图种类该指标可反映系统的交互能力。可输出的指令数越多反映系统可解码的大脑意识越丰富、可执行任务的行为越丰富。因此在睡眠检测、情绪识别、脑机打字等场景下可输出指令数量对评价系统性能具有较高参考价值。从理想值看睡眠检测场景下建议检出睡眠种类不应小于 5 种情绪识别场景下建议检出情绪种类不应小于 4 种在脑机打字场景下建议输出字符种类不应低于 40 种。在机器人、机械臂、无人机等复杂外部设备控制中自由度不应小于 6 种。可输出指令数量和实际使用需求有关需根据具体场景需求确定最佳范围。控制能力是指脑机接口系统将大脑神经活动转化为外设在实际场景中完成复杂控制操作的能力脑机接口系统的控制能力和工作效率可用菲茨吞吐量1Fitts Throughput指标衡量。脑机接口系统的菲茨吞吐量定义为难度系数与移动到目标位置所需时间的比值其中难度系数是交互移动距离和目标尺寸两者比值取对数。菲茨吞吐量来源于菲茨定律Fitts Law这是主要用于人机交互和人体工程学的人体运动预测模型用难度系数和吞吐量来分别衡量任务难度和控制效果。在脑机接口研究中也多采用菲茨吞吐量作为系统控制效果的衡量指标。以脑控虚拟鼠标移动为例虚拟鼠标从起始物体 A 移动到目标物体 B 的难度系数由 AB 之间的距离以及目标物体 B 的尺寸决定AB 间距离越大目标物体 B 的尺寸越小难度系数越大。不同难度系数下虚拟鼠标到达目标的所需时间不同菲茨吞吐量是同时考虑运动速度和控制准确度的综合指标数值越高体现脑机接口系统的控制效果越好。通常菲茨吞吐量达到 0.7 bits/s 可实现较为流畅的控制效果1 bits/s 是更为理想的指标。可用性指标可用性也是脑机接口系统走向产业落地的关键是除了性能指标之外的另一系统评价维度。系统可用性的衡量指标包括易用性、长效性、鲁棒性、安全性和互操作性。易用性又可通过脑机接口系统的使用准备时长、轻便性和舒适性三个指标反映。准备时长是指人员在脑机接口系统使用之前所需的准备时长和人机协同训练时长之和。准备时长具体包括调试准备时间、阻抗调整时间等。人机协同训练时长与系统使用者对系统的使用熟练度以及解码算法是否需要现场采集训练数据相关。此外部分脑机接口系统需要针对不同使用者定制不同的解码算法参数也会导致人机协同训练时间较长从而使系统的易用性降低。非植入脑机接口系统比较理想的准备时长建议不大于 3 分钟。植入式脑机接口系统由于需要比较繁琐的植入过程因此准备时长较长需要尽量优化植入手段提高系统易用性。轻便性是指脑机接口系统的轻质与便携。轻质是指对使用者而言符合人体工学且不造成明显伤害和负担。通常以重量指标衡量轻便性为确保人体颈椎以上部分不受伤害。比较理想的头戴式脑机接口系统含外设重量不应大于 500 克不超过 200 克将是更为理想的目标。便携是指易用使用和携带信号传输方式是衡量便携的重要指标之一。比较理想的便携方式是摆脱有线连接以蓝牙、Wi-Fi、超宽带或其他先进的无线通信方式进行数据传输。舒适性同样是易用性的重要指标体现在范式设计、外形设计、材料选取等方面。当前业内广泛使用的范式多源自二十世纪九十年代历经三十余年发展范式虽然奠定了实验研究的基础但其交互方式普遍存在不符合人类自然行为的问题由此导致面向消费级产品时用户接受度和配合度较低即便是在医学领域应用也比较受限。因此舒适性以可定量定性的体验感、满意度等作为主要衡量指标特别是对脑机接口消费级产品的落地具有重要意义。长效性指系统可稳定持续使用的时间是用来衡量系统稳定性的重要考量。在非植入场景下长效性体现在系统续航时间长。例如娱乐游戏时系统不会因用户出汗等干扰导致系统性能下降。在植入场景下长效性体现在系统不会受生物组织分泌物和免疫系统干扰导致性能下降电池续航需要能够保证 8 小时以上的持续脑电信号传输与分析。因此建议比较理想的非植入场景下单次的稳定可用时长不小于3 小时植入场景下有些国家规定稳定可用时长不应小于 1 年常规情况下医疗器械的理想植入时间是 10 年以上。鲁棒性指标用来衡量脑机接口系统对抗外部扰动变化的能力。脑机接口系统需要在各类外部干扰环境下使用。正常环境本身就存在大量干扰信号此外还包括强磁环境、超声波诊断治疗环境、放射治疗环境等。这就要求脑机接口系统在所处的环境中能够有效屏蔽大部分外界干扰保证交互响应时间、识别正确率等性能指标维持在一个较高的水平。此外在使用过程中脑状态也不是一成不变的因此鲁棒性还体现在具有一定的自适应能力可随用户状态变化而自适应调整确保系统性能指标在较小的范围内波动。安全性是脑机接口系统可用性的重要指标。一是要保障脑机接口系统整体安全和数据安全。硬件和软件具备基础的安全防范能力和手段防护手段到位确保能够有效抵御外部攻击避免系统被篡改而做出错误指令。同时要确保使用者的信息不外泄尤其是需要联网使用的设备例如解码算法、脑电数据上云的系统需要确保信息安全二是要确保人身健康安全。需要在符合常规安全要求基础之上做出更适合脑机接口系统的安全专用要求。三是要符合科技伦理安全。需要制定完备的科技伦理制度确保隐私信息不外泄、风险可控、尊重生命权利、增进人类福祉、保障公平公正。互操作性是脑机接口系统应用落地和广泛发展的重要指标体现了脑机接口系统之间实现跨系统访问、双向连接和交互控制的能力。互操作性一方面体现在同类型系统之间保持框架一致和接口一致另一方面体现在脑机接口系统能在电脑、手机、增强现实AR设备、虚拟现实VR设备等其他智能终端上互通互用和即插即用。系统应根据此方面的技术标准要求开发相关接口和可互通的系统平台。互操作性能力指标可以通过系统符合互操作标准的程度来衡量。三、脑机接口关键技术脑机接口作为新兴技术为大脑与外部直接交互提供了新的解决思路在新一轮的技术升级中被给予厚望。脑机接口产业落地有赖于关键技术的突破和革新。目前全球在脑机接口关键技术研究方面发展蓬勃但依然存在亟需解决的若干问题。对此业界也正在尝试多种手段予以突破。脑机接口关键技术包括采集技术、刺激技术、范式编码技术、解码算法技术、外设技术和系统化技术。其中采集技术研发重点包括采集端和信号处理端。采集端常规技术手段包括电采集、磁采集、近红外采集等手段其中电采集为主流研发方向磁和近红外等采集技术因为成本和技术成熟度等制约距离应用落地相对更远。信号处理端涉及模拟芯片和数字芯片。由于当前脑机接口系统所用的数字芯片多为行业通用芯片所以重点介绍模拟芯片的发展。刺激技术重点介绍脑深部电极刺激Deep Brain Stimulation, DBS闭环控制的进展以及脑机接口技术在助盲领域的最新进展。范式编码和解码算法技术介绍了当前主流研究进展。由于外控技术和系统化技术的创新多在于工程集成因此不在此介绍。脑机接口技术的应用场景按照信息流向分为脑状态检测、神经调控和对外交互三类。从信息流向来看脑状态检测是信息从大脑流向外部和外设神经调控则是信息从外部和外设流向大脑而对外交互则是信息的双向流动因此重点围绕信息的利用、交互和反馈来介绍脑机接口系统在不同场景下的典型应用以及系统在各方面性能上的需求。▲脑机接口关键技术1、采集技术植入式电极植入式微电极是脑机交互的关键基础被广泛应用于基础神经科学、脑疾病的诊断治疗以及脑机交互通信等领域。植入式微电极通过将以离子为载体的神经电信号转换为以电子为载体的电流或电压信号从而获取大脑神经电活动信息。植入到大脑中的微电极可以高空间分辨率和时间分辨率方式精确记录电极附近单个神经元的动作电位从而实时监测大脑活动。传统的植入式微电极由金属和硅等硬质材料制备而成形成了以密西根电极和犹他电极为主的硬质电极。随着微纳加工技术和电极材料不断发展微电极趋向于柔性、小型化、高通量和集成化发展形成了以微丝电极、硅基电极和柔性电极为主的多元化发展局面。高性能柔性微电极对长期稳定慢性记录具有重要意义。硬质微电极和脑组织之间存在机械失配问题会对生物体的正常活动造成继发性脑损伤不适用于长时间的慢性实验。具有高生物相容性的柔性微电极器件有利于缓解免疫反应提高信号质量对实现大脑活动长期稳定的慢性记录具有重要意义。利用低杨氏模量生物材料和高性能界面材料制备柔性电极成为该领域的热点。高通量微电极将为拓展全脑神经科学研究奠定重要基础。为了获取更丰富的神经元动态神经微电极被要求同时记录尽可能多的单个神经元的电活动。现有植入式微电极通量远小于大脑神经元数目发展新型高通量微电极实现批量化的高时空分辨率脑电信号采集对于追踪神经环路活动以及解析全脑尺度的神经网络功能等基础神经科学研究至关重要。多功能微电极有力促进多种激励方式综合调控。通过集成电刺激、药物注射和光刺激等功能植入式微电极在读取生物体大脑活动信息的同时还能调控生物体生命活动实现生物体和外部设备的双向通信。研究多功能的神经微电极器件搭建闭环系统可实现癫痫等脑疾病的诊治和神经功能恢复等应用。2、非植入式电极非植入式电极应用场景广泛。非植入式电极不需要进行手术植入直接放置于头皮上即可进行脑电信号采集因此也称为无创电极其安全无创特性更易被使用者接受因此在非临床脑疾病诊疗、消费级脑科学应用等场景中得到了广泛的应用。改进的干电极是电极产业落地的主流选项。随着基于头皮脑电的脑机接口系统在便携性、快速应用及舒适度等方面的应用需求增长电极的改进成为亟需解决的关键问题。传统的湿电极尽管信号质量好但其专业的操作需求耗时长用后清洗等固有缺点无法规避。因此无膏的干电极技术逐渐发展起来以适应新的应用场景和需求。基于金属材料或导电聚合物材料的多脚柱式/爪式干电极、基于导电纤维的刷毛式干电极、基于微机械加工工艺的微针电极及电容式电极等在提高使用便捷性的同时也通过材料改进和结构设计优化不断地降低电极与皮肤的接触阻抗提高使用舒适度和应用性。凝胶半干电极具有潜在的广阔应用前景。干电极实现了脑机接口系统的便捷应用但其与头皮的电连接仅靠微量的汗液接触阻抗较高且强烈依赖于压力因此舒适度和信号质量及稳定性成为该项技术需要突破的技术难题。半干电极利用材料或结构特性释放少量导电液到头皮以降低电极与头皮的界面阻抗。基于材料体系的凝胶半干电极物理化学特性可调通过材料组分配比的优化可兼顾电化学特性和机械特性从而得到使用舒适度较好且信号质量可与湿电极匹敌的性能是一种极具应用前景的电极技术。3、芯片随着集成电路技术的快速发展以及电路与神经科学融合研究的持续探索脑信号采集技术朝着微型化、轻量化、高通量、分布式采集的方向不断前进。针对脑机接口的应用、算法、硬件以及范式的研究内容也逐渐丰富植入式与非植入式脑机接口系统通过电极与采集硬件对脑信号进行采集、处理和解码从而实现对脑科学基础理论、脑疾病以及脑控外设的探索与研究。脑信号采集芯片是将脑信号直接转化为数字信号的核心硬件也是脑信号读取与解码脑部疾病诊断与调控所依赖的工具。针对脑部信号的生理特性以及应用场景在定制化脑信号采集芯片设计过程中存在诸多技术挑战。精密放大器是脑信号采集芯片中的核心模块在脑机接口应用场景中需要满足多重技术参数要求。对于脑信号来说其幅值微弱几十μV 到几个 mV、频率低0.5 Hz 到数 kHz因此易受外界噪声干扰从而导致信号质量不佳。为了保持最佳的信号质量脑信号采集模块的部分关键参数例如信号噪声、共模抑制比CMRR、电源抑制比PSRR、增益匹配、运动伪影等需要优化。多个脑信号采集参数之间存在相互制约的关系多参数的统筹优化是当前脑信号采集芯片设计的核心问题之一。信号噪声是脑信号采集过程中最大的干扰源之一。由于前端放大器的闪烁噪声与脑信号在频谱上部分重叠采取简单的滤波工作难以提取纯净脑信号因此对较低频率的脑信号使用斩波放大技术将所采集的信号调制到较高频率以避开放大器的闪烁噪声。斩波技术在交流耦合仪表放大器中实现了良好噪声和功耗平衡但放大器的输入阻抗在斩波调制过程中会降低到兆欧范围以下导致信号在进入放大器前产生衰减。为解决输入阻抗降低的问题有团队提升了正反馈回路的输入阻抗。还有团队采用电容组对输入阻抗升压回路的电容进行校准也有团队采用调整电路耦合的方式来切换斩波器和输入电容的位置避免因斩波调制导致的输入阻抗降低。共模抑制比是衡量系统应对环境干扰的关键参数。针对微弱脑信号高共模抑制比可以保证信号不被共模扰动2掩盖从而提高信号质量。此外在多通道神经信号采集过程中由于电极在植入大脑后产生的一系列生物相容性问题导致电极阻抗可能随植入时间增多而明显提升数个月后可高达 100kΩ至数 MΩ继而影响脑信号的信噪比以及系统共模抑制比。为保证采集信号质量前端放大器电路采用共模反馈技术以及共模前馈技术以提高系统级共模抑制比。采集芯片的微型化设计是植入式脑机接口系统核心技术挑战之一。为了将采集芯片缩小至可植入的尺寸范围针对片上有源/无源器件的微型化是相关研究中的技术难题。具有电容耦合的全差分放大器结构通过采用晶体管搭建的伪电阻Pseudo Resistor结构可大幅缩小片上无源器件的面积同时伪电阻提供了较大的阻抗以及较低的高通截止频率适合设计微型化的脑信号采集芯片。采用时分复用/正交频分复用等技术通过固定的采集单元对多个通道的脑信号进行同步采集也可明显降低片上面积。针对不同的脑机接口应用以及采集芯片面对的一些技术难题国内外有许多团队提出了解决方案。例如针对采集过程中的电极间直流偏置引起斩波放大器输出饱和的问题一种直流伺服反馈回路技术通过积分器将输出端的直流分量提取并反馈至输入端有效抑制了电极间的直流偏置。对于采集芯片的超低功耗需求有团队设计了基于反相器结构的超低压斩波放大器非常适合植入式场景。针对芯片微型化的问题放大器与 DAC 结合的数字-模拟混合反馈技术可大幅缩小采集芯片的片上面积。针对脑信号采集过程中的共模干扰问题基于电荷泵charge pump的共模反馈技术通过对输入端的共模扰动信号进行动态反馈能有效抵抗高达 15V 的共模扰动。对于采集芯片的无线供电问题线圈的无线电感传输技术被应用在植入式脑机接口芯片中通过外部传输线圈以及中继线圈和片上耦合线圈实现了对体内采集芯片的无线供电以及采集到的脑电信号无线传输。体表网络无线传输技术Body area networkBAN解决了无线供电时线圈难对准的问题利用被试者的身体表面对采集到的信号以及能量进行无线传输适用于可穿戴的脑机接口场景。在提升系统集成度方面目前已有将信号采集、存储、以及基于 AI 的信号归类识别等模块集成在一起的脑机接口片上系统实现了较高的系统集成度。针对于高通量植入式脑机接口芯片有些公司设计了带有动作电位识别的高集成度采集芯片该芯片与数千个柔性电极相结合实现了对高通量脑信号的采集。2、刺激技术脑深部电极刺激Deep Brain Stimulation, DBS一种非常具有代表性的植入式电极刺激技术。DBS 通过植入体内的脑起搏器发放弱电脉冲刺激癫痫、帕金森的病灶脑区抑制病灶区神经元的异常无规则放电进而抑制相关症状使患者恢复自如活动和自理能力。传统的 DBS 调参需要基于微电极信号分析、刺激效果分析、影像定位、核磁分析等多技术手段选择治疗触点。借助脑机接口技术脑内电极不仅具有单向刺激功能还可进行周围神经元信号采集以做到精准触点选择。就技术发展进度看目前可以做到信号采集之后由医生根据生物标志物和与患者的交互反馈进行触点选择未来还将向自适应角度发展自适应技术研发方向包括通过优化的信号处理方法实现自适应调控。如在机器学习、深度学习基础上对患者脑电数据进行预测分类为医生提供分类结果以助于诊断提升触点选择的精准度。另外在患者体态姿势发生变化导致电极与靶组织之间距离改变时例如咳嗽、打喷嚏、深呼吸时可根据诱发复合动作电位调控刺激以避免发生瞬时过度刺激。通过刺激参数空间拓展改善自适应调控。刺激参数空间包括触点、幅度、频率、脉宽的选择。目前在常用单极恒频刺激的基础上已开发交叉电脉冲模式、变频刺激及多触电不同频刺激技术极大地拓宽了刺激参数空间实现更好的症状调控。依托多样生物标志物实现自适应刺激调控。当前国内外知名 DBS厂商正在尝试基于生物标志物实现自适应刺激调控例如检测神经递质浓度通过血清素、去甲肾上腺素、多巴胺脱氧血红蛋白度、氧合血红蛋白的浓度识别治疗效果并作为依据来动态调整刺激幅度。也有基于血流水平、范围或预定血流值矩阵等血流信息调节刺激幅度、脉冲宽度、脉冲率和占空比等指标。通过磁共振相融 DBS 技术实现自适应调控下的脑网络探索。现有磁共振兼容 DBS 技术解决了在强磁场下电极发热、移位及感应电流等安全隐患使植入 DBS 的患者能在 3.0T 磁共振下进行长时间的同步刺激及扫描。在解决临床需求的同时也使 DBS 成为探索刺激相关脑网络变化的直接媒介通过功能磁共振解析刺激相关局部及整体脑网络改变为新靶点的发现及适应症的拓展提供依据。植入式视觉调控技术对盲人群体提高生活质量具有重大意义相关研究已经开展。全球绝大多数研究团队在开环视觉重建的研究中研究方向逐渐从视网膜刺激向皮层刺激转移。目前主要集中在电刺激初级视觉皮层V1以获得人工视觉感知。这就需要进行刺激电极的植入。最新的实验已经植入了超过 10 块犹他阵列通道数达到 1024。该系统还包括采集视频的摄像头采集到的图像信息通过信号处理获得简单的二维灰度图像目前还没有具有色彩的植入式人工视知觉输入并据此刺激初级视觉皮层神经元。受试者通过植入电极可以在有限的视野范围内看到一些灰度调制的低分辨率点阵图像。目前的研究结果表明用小电流电刺激初级视觉皮层神经元V1 neurons会激活直径数百微米的皮层区域从而获得简单的视觉知觉称为光幻视phosphenes。电刺激可以改变大脑皮层的信息流影响到正常视觉观测内容。由于电刺激是相对粗糙的刺激方式因此获得的视觉感知也相对粗糙。目前研究致力于通过多个电极同时刺激让受试者感知到具体图像或连贯动作。2020 年发表在 Science 上的研究结果表明通过植入大规模 1024 通道电极并进行训练可以使非人灵长类正确识别字母辨识运动方向等。如何通过不同模式刺激增强受试者感知连贯形状的能力并最大限度向其传递视觉信息依然是未来研究重点。目前的植入式视觉调控研究多为开环脑机接口系统开环脑机接口系统难以实现精确刺激模型且电刺激也难以与真实的视觉刺激保持一致因此存在不可控风险且难以实现精细视觉输入。因此闭环视觉调控是未来重要的技术探索方向。3、范式编码技术大脑的各种思维与响应活动千变万化且同时发生因此很难直接从中准确解码特定类型的活动。在脑机接口系统中用范式来表征对预定义的大脑意图的编码方案。范式定义为在编码任务中对希望识别的大脑意图用可检测、可区分、可采集的脑信号予以对应从而实现对大脑意图的可识别输出。在过去的几十年中出现了许多脑机接口范式常见典型的有运动想象范式、稳态视觉诱发电位范式、P300 范式。这些范式往往根据是否有外部刺激和辅助而分为被动式和主动式范式。视觉诱发电位刺激范式 P300 朝向界面布局优化、人脸图像拼写和融合物理刺激方向发展。传统的视觉 P300 电位刺激范式下拼写器允许受试者通过闪烁不同的行和列来选择目标但没有考虑两个相邻符号连续闪烁对结果的影响。近年有大量研究针对 P300 电位刺激范式的拼写界面布局开展优化工作有效消除了相邻符号闪烁带来的影响。一些研究发现面部符号可以比传统 P300 字符拼写范式诱导更高的 P300 电位。因此许多研究尝试用人脸图像代替数字或字母符号使每个符号在以一定频率闪烁时都会变成人脸图像而不是简单的颜色或大小变化实现了 P300 电位刺激范式的解码性能提升。最近也有研究发现在视觉 P300 电位刺激范式中添加其他形式的物理刺激可以提高使用者的表现例如使用偏光镜增强刺激、基于积极情绪的视听组合刺激、引入声音和视频刺激等方式。因此将 P300 电位与其他物理刺激融合的范式研究也是近年的热点。稳态视觉诱发电位Steady-state visual evoked potentialsSSVEP刺激范式朝向更高效、更舒适和更自然发展。SSVEP 范式脑机接口主要应用方向包括高速率脑机接口打字交互系统、特殊群体脑机报警系统、自然场景的脑机目标选择系统等。为支撑上述三大应用场景SSVEP 范式的主要发展趋势包括更高效SSVEP 范式编码从最初 4 目标编码已发展至 160 目标编码且编码的识别响应性能也在持续提升因而实现的高速率SSVEP-BCI 系统的性能也在不断提升。后续 SSVEP 会持续研究更高效、可分性更好的范式编码。更舒适SSVEP 范式刺激的最佳频带为 8~15Hz该频带的多目标闪烁刺激虽然实现的系统性能优异但也容易诱发视觉疲劳因而在实际落地应用中受到了一定的阻力。目前 SSVEP 舒适刺激的方式主要包括降低亮度变化率、提高刺激频率、减小刺激目标面积以及采用空间编码外周视野刺激等。上述研究已取得了较大的进展并不断继续推进中。更自然SSVEP 刺激范式的每个刺激块需要按固定频率进行闪烁且具有一定的面积因而在实际应用过程中仅与脑机打字场景最为贴合即将字符绘于对应的闪烁目标块上即可。目前已有部分 SSVEP范式采用空间编码的方式将中央视野区域空出在视野外周进行刺激编码进而实现更贴近自然应用场景的应用。也有适当降低 SSVEP 闪烁块面积并与生活场景结合的编码思路受限于刺激面积变小对响应强度的影响为保障系统的识别正确率与响应速度此类应用的SSVEP 编码目标数较少。此外SSVEP 的主要响应脑区位于后脑枕叶因而往往需要佩戴脑电帽不利于生活自然场景使用。为解决该问题部分研究采用时频混合或时空频融合的编码方式尝试提升无毛发区的 SSVEP 响应强度取得了一定的进展。为了 SSVEP 脑机接口在生活场景落地上述研究仍在持续推进中。运动想象Motor Imagery, MI范式朝向更精细发展。运动想象是一种非常重要的主动式脑机接口范式用于识别大脑对四肢和舌头的运动意图。其无需外界条件刺激和明显的动作输出就能诱发大脑感觉运动皮层的特定响应。现已广泛应用于基于脑机接口的假肢、机械臂和轮椅等设备控制、字符拼写及临床中风康复治疗等场景。基于运动想象范式的脑机接口已经发展多年经过数十年的研究大肢体部位的 MI 控制已经基本发展成熟而对更细微运动做出想象并有效识别例如不同手指的伸缩、握拳、不同手势的运动想象等是运动想象范式编码的发展方向。运动相关皮层电位范式朝向多肢体运动意图解码和连续运动解码发展。运动相关皮层电位Movement-related cortical potential, MRCP是一种可以从低频头皮脑电中捕捉到的与运动规划、执行相关的神经活动信号。MRCP 主要由三部分组成即与运动准备相关的准备电位Readiness potential, RP、与运动发生、起始相关的运动电位Motorpotential, MP以及与运动执行、运动性能相关的运动监测电位Movement-monitoring potentialMMP。相较于 SSVEP 和 P300 等被动式脑机接口范式MRCP 和运动想象是不依赖于外部刺激的、由人体真实运动意图诱发的主动式脑机接口范式。而相较于运动想象MRCP 不依赖于重复的运动想象。因此MRCP 具有自然、真实、可以反映人的实际运动意图等优点。典型的 MRCP 范式包括点到点的上肢运动如 center-out、连续运动追踪式的上肢运动如 PTT、指定动作类型的上肢或下肢运动如手腕内旋/外旋等。由于 MRCP 具有可反映运动意图的特性其对发展与运动康复、运动功能诊断、日常生活辅助等相关的运动脑机接口具有重要价值。目前MRCP 主要发展趋势包括从单肢体到多肢体的运动意图解码、从离散分类问题到连续回归问题的连续运动参数解析、与神经假肢、外骨骼、机械臂等外设结合的人体运动增强和康复治疗等。4、解码算法技术卡尔曼滤波器成为当前主流解码方法。以运动控制为例早期的植入式脑机接口解码大都使用维纳滤波器线性解码系统。此类解码系统不包含运动学过程模型而是将群体神经元的反应作为输入将空间坐标内的运动速率作为输出通过最优线性估计的方法进行解码。早期很多脑机接口实验室都用该方法进行解码。后来为满足控制过程中的解码连续性需求需要有运动模型作参考以修正和优化解码器输出卡尔曼滤波器成为当前的主流解码方法其在离线、实时以及临床试验中都得到了广泛的应用。卡尔曼滤波的优点是算法简单而且可以不需考虑神经元具体编码内容即可解码因此可以实时快速解码。其缺点在于解码效果一般且每次实验之前都需较长的校准时间另外卡尔曼滤波解码的系统鲁棒性相对较差。为解决这些问题国际上提出了很多方法其中最具前景的方法主要包括类脑解码器设计和神经学习。类脑解码器成为新一代解码方法。最近一些皮层神经元群体编码特性研究结果表明虽然大量的神经元被记录并用于脑机接口的解码但因大脑神经元的信息编码相对于运动是冗余的用于控制的神经元群体反应维度要低于神经元数量。因此在理论上可以找到一个隐藏或潜在的低维状态空间来描述在该控制条件下的有效神经元群体反应并将这个状态空间中的潜变量映射到相关行为或运动控制变量用于运动控制。将这些编码特性应用于解码器设计得到类脑的解码器可用于脑机接口控制。目前学术研究结果表明此类稳定子空间是存在的。此方法的优势是虽然记录到的神经元群体信号有高噪声且会发生变化但其在子空间上的动力学过程一直稳定因此可以有效去除不稳定记录以及神经元发放变化带来的干扰从而获得更为鲁棒的脑机接口系统。神经学习提供新的解码思路。当前还有一种前沿的脑机接口解码方法是通过训练大脑进行学习来使用脑机接口即神经学习也称脑机学习。脑机接口系统中存在两个学习系统一个是解码器的机器学习另外一个就是具有强大学习能力的神经系统。脑机接口初期的实验都体现了大脑学习本身的重要意义但如何让大脑学会使用脑机接口的解决方案尚不完善。脑机接口系统在使用过程中闭环控制的练习可以导致神经元为适应用户的运动系统而发生变化。因此闭环过程中的解码器与开环时的解码器可能完全不同结果表明提供快速的反馈比过滤错误更为重要因此诞生了改进闭环性能的技术一般被称为闭环解码器适应Closed-Loop decoder AdaptationCLDA。此类方法根据闭环脑机接口使用期间记录的数据实时改进解码器让解码器根据用户当前神经信号的性质来决定解码器的结构。此外用户的神经系统也在实时学习如何应用这个解码器。两者的相互结合以及相互促进得到了一个“脑机双学习”的融合式脑机接口系统。此系统可以在神经信号不稳定时依然输出稳定的表现且仅需少量校准即可即插即用同时鲁棒性极高在适应新的应用场景时有同时保留已学控制技巧并探索新控制方式的特性因此极大的提高了脑机接口系统在实际应用中的可能性。分解算法是非植入式脑机接口系统的主流解码算法。分解算法广泛应用于脑机接口系统的去噪与意图解码。分解算法通常使用矩阵分解或提取空间滤波器来增加不同类别意图的解码可分离性。大多数分解算法都是为特征提取而设计的矩阵特征分解后通常需要连接到分类器。独立成分分析ICA是使用广泛的分解算法之一。ICA 一方面可对不同源信号进行特征分析另一方面还可用于去噪例如去除眨眼成分、伪影信号等。在解码脑意图时不同脑机接口范式的分解算法存在差异。运动想象范式解码多采用通用空间模式CSP及衍生算法。CSP 可最大化不同分布的方差信号例如对左右手运动想象进行分类。在 CSP 基础上逐渐衍生出滤波器组 CSPFBCSP、提议判别滤波器组 CSPDFBCSP、临时约束的稀疏组空间模式TSGSP等。稳态视觉诱发电位SSVEP解码多采用典型相关分析CCA及衍生算法。CCA 算法有效解决了以往非空域分解算法难于处理的导联挑选问题。近十年学者提出诸多 CCA 改进算法例如滤波器组CCAFBCCA、任务相关成分分析TRCA、集成 TRCAeTRCA、任务相关成分分析算法mTRCA、TDCA 等。视觉 P300 电位解码算法依托 xDAWN 算法和 DCPM 算法。目前有增强 P300 诱发电位的xDAWN 算法以及将空间模式提取和模式匹配结合的 DCPM 算法。近十年以黎曼几何为代表的流形算法在脑机接口系统中广泛应用。黎曼几何算法通常可以用于对称正定SPD矩阵的空间上应用运算进而提供一个统一的框架来处理不同的脑机接口范式。例如基于最小均值距离MDM和带有测地线滤波FgMDM算法对 MI任务进行分类。MDM 类似于使用欧式距离而不是黎曼距离的最近邻算法。FgMDM 将协方差投影到切线空间将线性判别分析LDA应用于切线向量然后将它们投影回带有选定分量的 SPD 空间。黎曼框架由于具有扩展性因此易于多场景应用并与机器学习方法结合。深度学习算法在近年被引入脑机接口解码研究。基于 CNN 网络结构设计的 Shal-lowConvNet 和 DeepConvNet 模仿了 FBCSP 中的时间和空间滤波器性能接近 FBCSP。进一步利用深度可分离卷积代替普通卷积提出的 EEGNet 在 SSVEP 范式应用中取得了很好的效果。CNN网络模型具有的批处理归一化功能也可用于视觉 P300 范式的解码。进一步还有诸多深度学习的改进模型例如 CNN-RNN 架构、CNN-LSTM 架构。还有一些研究侧重于脑机接口的数据扩增进而得到更多的训练数据提升解码效果。典型的数据扩增网络模型包括循环的对抗网络RGAN、增强 MI 数据的 C-LSTM 模型等。迁移学习算法的进步是脑机接口走向应用落地的关键。许多机器学习算法的训练数据与测试数据来自相同的特征分布。此类算法在脑机接口应用中虽然面向单个被试在短时间内可以取得良好性能但在不同被试或相同被试不同时间的情况下性能则大幅下降。这些问题被称为跨被试和跨时间的可变性问题。为了减轻这两个问题的影响通常需要一个校准阶段来在每个会话开始时收集足够的训练数据但这会明显增加系统使用的准备时间。迁移学习旨在利用源域中的先验信息改进目标域中预测函数的学习过程解决跨会话和跨主体的可变性问题。脑机接口的早期迁移学习算法侧重于分解算法的改进。而后黎曼几何法进一步促进了脑机接口的迁移学习算法进步。近年来深度学习算法也开始应用于迁移学习领域。此外其他领域的迁移学习方法也在脑机接口研究中有一定的借鉴例如信息几何STIG的光谱传输算法在快速序列视觉呈现范式(RSVP的验证融合转移分量分析TCA和联合分布适应JDA提出的用于脑机接口的流形嵌入知识转移MEKT方法。智东西认为经过数十年的科学探索与技术论证脑机接口已从科幻成为科学并处于从科学研究到产业落地的关键时期。就脑机接口目前的发展情况在今后一段时间脑机接口的基础学科研究和应用落地都将得到长足发展从而有望促进脑机接口市场规模不断扩大。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
