一、交互式语言康复脑-机接口

 脑-机接口(brain-computer interface, BCI)是一种通过解码中枢神经信号实现大脑与外部设备直接通信的创新技术，在医疗、军事、教育等领域展现出重大应用价值。我国已将脑-机接口纳入前沿技术战略布局，并在《“十四五”医疗装备产业发展规划》中将其列为高端医疗装备攻关方向。语言脑-机接口(speech BCI, SBCI)作为BCI技术演进的前沿分支，通过构建神经编解码模型，实现思维表征到语音/文本的端到端实时转译，突破传统BCI的语义带宽瓶颈，开创了人机交互新范式，是神经工程与计算语言学的交叉研究热点，这几年不断有新成果在Science、Nature等顶刊发表。美国Neuralink、Facebook和我国的华为等大公司正在加大该领域的研发投入。但是，目前侵入式SBCI存在感染风险且容易电极失效；非侵入式SBCI仍然受限于信噪比低、空间分辨率不足，存在解码错误率高、用户校准周期长等核心瓶颈问题。在国家和广东省自然科学基金的支持下，课题组依托教育部和广东省重点实验室，与中山大学孙逸仙纪念医院深入合作，在长期从事机器学习、脑信号处理和舌部运动追踪研究的基础上，创新性地将具身认知增强理论引入EEG-SBCI系统研发，通过多模态反馈闭环优化，构建人-机协同进化机制，提升EEG语言信息解码性能。主要研究内容包括：

1）可穿戴交互式语言康复脑-机接口系统研发  （原型系统已初步开发完成）

2）语言运动参数检测方法研究：基于磁传感阵列的无线舌部运动跟踪技术、基于机器视觉的唇部运动参数检测技术等 （已在IEEE TBME, IEEE Sensor J等优秀期刊发表论文, 新近投稿IEEE TIE）

3）高精度脑电信号去噪方法研究：眼电/肌电伪迹去除  （已在IEEE IOT J 发表论文）  

4）基于脑信号的语言运动参数解码方法研究：舌部、唇部运动参数和语音信息解码  （实验中，相关方法已发表在IEEE TNSRE 和 JNE）

5）基于迁移学习的多模态语言想象信息重构方法研究 （实验中）

6）基于强化学习的交互式语言康复脑-机接口系统训练方法研究 

7)  语言康复脑-机接口系统的临床应用研究

二、多模态智能睡眠监测

       高质量的睡眠是国际公认的三项健康标准之首。入睡或者觉醒困难等睡眠障碍会引起自主神经紊乱，影响人体代谢、免疫和内分泌机能，从而显著地增加罹患心梗、中风、高血压、糖尿病、癌症等疾病的风险，严重危害人民健康。据世卫组织统计，全球睡眠障碍发病率达27%。睡眠健康市场巨大，据Frost&Sullivan报告，2019年全球睡眠经济市场的规模为4320亿美元。我国睡眠器械用品和健康服务市场的规模已超过3千亿元人民币。多导睡眠图是睡眠障碍诊断的“金标准”，通过采集心电、脑电、口鼻呼吸气流、血氧饱和度等多模态生理信号，检测睡眠呼吸暂停、心律失常等多种病理事件，测量负荷重，影响睡眠，且需要医生长时间地校正自动检测的结果，效率低，主要在医院和研究中心使用，不适宜病人居家监测。2019年，智能化、易穿戴、适于家用的睡眠监测技术研究被国家科技部列入“主动健康和老龄化科技应对”重点专项，对于“健康中国”战略的实施意义重大。近年来，市面上涌现出很多低负荷的家用睡眠监测设备，但检测精度低，性能不可靠。其技术瓶颈在于：(1)减轻测量负荷，会造成部分体征信号的缺失，降低检测精度；(2)居家环境噪声的多样性和监测对象的个体差异，严重影响模型的学习和泛化，降低检测稳定性；(3)千家万户的睡眠数据不断汇集到后台服务器，给计算资源和存储资源带来巨大的压力，降低了检测模型的更新效率。 课题组依托教育部和广东省重点实验室，在国家和广东省自然科学基金的支持下，与广州呼吸健康研究院钟南山院士团队、广州三锐电子科技有限公司深入合作，基于多模态多标签数据的联合表征与推断方法、多模态多标签模型的不确定性感知、自适应信息融合以及增量学习方法开展研究，主要内容包括：

1）便携式多模态智能睡眠检测系统研发                           （已通过验收）

2）基于脑电、眼电信号的多模态睡眠分期方法研究          （投稿IEEE JBHI 修回）

3）基于心电、血氧饱和度信号的睡眠呼吸障碍事件检测方法研究

4）基于鼾声和气管呼吸音的睡眠状态检测方法研究          （相关检测装置已通过欧盟EC认证）

5）动态心电图异常心律分析和心拍分类方法研究             （已在IEEE IOT J 发表论文）  

6）基于心击图的心跳、呼吸事件检测方法研究                （已完成临床实验，收集患者样本80余例）  

7）多模态多标签睡眠监测基础大模型研究

8）多模态智能睡眠监测与干预方法的临床应用研究