杜久林/蒿杰/穆宇团队合作实现全脑光学接口虚拟现实和全脑闭环研究新范式

2024年3月8日，中国科学院脑科学与智能技术卓越中心杜久林研究组、穆宇研究组和自动化研究所蒿杰研究组合作在Nature Neuroscience在线发表题为“Real-time analysis of large-scale neuronal imaging enables closed-loop investigation of neural dynamics”的研究论文，该研究开发了一套实感智能计算-控制平台，可快速提取和分析斑马鱼全脑神经元活动，实现神经元集群活动的闭环调控。

该研究借助天文学领域的数据处理技术，采用FPGA-GPU混合架构，成功对高达500MB/s的大数据流神经功能数据进行实时配准、信号提取和分析。通过这一技术突破，研究团队首次实现了对斑马鱼全脑十万级神经元的实时监控，进而对任意选择的神经元集群活动进行解码，以控制外部设备。这一成果标志着基于全脑单细胞光学成像的虚拟现实、光遗传调控等技术在脑科学闭环研究领域的应用迈出了关键一步。 

全脑范围单神经元活动成像是解析大脑并行分布式计算原理的有力工具，但其巨大的数据实时处理需求成为了技术发展的瓶颈，导致难以实时分析以及在大尺度上闭环调控和研究脑功能。启发于天文学领域中快速射电暴检测技术，研究人员借鉴其系统设计策略，利用FPGA编程的灵活性建立光学神经信号预处理系统，对来自光学传感器的信号规整化，并将其发送给基于GPU的实时处理系统，进行高速非线性配准，提取各信道的神经信号，依据编码规则进行解码，以获得用于控制外部器件的反馈信号。该系统通过实时监测斑马鱼全脑神经元的活动，生成反馈信号，反馈间隔小于70.5毫秒。 

系统性能在三个脑科学闭环研究场景下得到展示：与任意特定神经元集群活动锁相的实时光遗传学刺激，与特定大脑功能状态锁相的实时视觉刺激，以及基于神经元集群活动的虚拟现实控制。 

闭环实时光遗传学神经调控 

通过功能聚类识别全脑神经元集群，将选定集群的自发活动作为触发信号，实施实时光遗传学刺激于目标神经元集群。相对于开环，闭环刺激有效激活了下游脑区。 

锁相的实时视觉刺激实验

通过对蓝斑去甲肾上腺素能系统活动的实时监测，在表征动物清醒状态的蓝斑兴奋时相上施加视觉刺激，观察到大脑中其他神经元的反应更为强烈。这表明，大脑状态可调节对视觉信息的处理，同时指出闭环感觉刺激有助于精确研究大脑内部状态与外界环境的相互作用。 

全脑光学脑机接口实现的虚拟现实

实时将高维的全脑所有神经元活动降维到多个神经元集群的活动，并将任一集群的活动与视觉环境闭环联接，建立了基于光学成像、直接从脑神经活动到视觉环境的虚拟现实系统。在该虚拟现实中，可以随意调整神经活动与环境耦合的增益，使控制环境的神经元集群根据增益变化适应性地调整其输出。依托大数据流的实时分析和高通量全脑成像技术，未来研究将筛选适合光学脑机接口的神经群体活动特征，揭示其机制，并开发出更高效的光学脑机接口技术。

中国科学院脑科学与智能技术卓越创新中心杜久林研究员、中国科学院自动化研究所蒿杰研究员、中国科学院脑科学与智能技术卓越创新中心穆宇研究员为共同通讯作者；暨南大学/深圳市神经科学研究院尚春峰研究员（原中国科学院脑科学与智能技术卓越创新中心副研究员）、中国科学院脑科学与智能技术卓越创新中心汪玙璠博士、中国科学院自动化研究所赵美婷助理研究员为共同第一作者；中国科学院自动化研究所范秋香助理研究员，中国科学院脑科学与智能技术卓越创新中心赵姗博士生、钱禹工程师和徐圣进研究员做出了重要贡献。该工作得到科技部、基金委、中国科学院、上海市和深圳市的资助。研究成果已授权发明专利“光学脑机接口系统和方法”（专利号：ZL20231 0131178.9）。