头戴一个黑色的多模态脑机头环,测试者向前方的平板电脑屏幕眨了眨眼,配合轻轻转头,不用伸一根手指或说一句话,就可将记者面前的这台脑控轮椅驾驶到一张桌子边停下,然后指挥着机械臂抓取桌上的水杯递到测试者的嘴边。琶洲实验室常务副主任、脑机智能研究中心主任李远清教授告诉记者,这台轮椅正是团队的代表性成果之一。
近20年来,脑机接口技术飞速发展,是各国政界、学界、产业界都非常重视的人工智能“风口”。脑机接口顾名思义是大脑和外部设备之间的接口,大脑发出指令后通过接口实现对外部设备的控制,外部设备又不断向大脑发送反馈信息,让大脑及时调整控制策略,从而形成脑机互动的“闭环”。近年来,李远清团队在脑机接口领域取得了不少进展,一些成果已在医院实现商用,帮助各类运动障碍患者。
机器如何获得神奇的“读心术”?脑机接口未来将在哪些方面服务人类?使用脑机接口的切身感受如何?记者在琶洲实验室进行了亲身体验和实地调查。
简单操作让机械臂给你递水
在琶洲实验室脑机智能研究中心的实验室内,摆放着多项脑机互动代表性成果,如:多模态脑机融合控制的轮椅机械臂系统,脑机AI智慧病房,冥想脑机接口交互系统以及脑机疲劳驾驶预警系统。李远清带的几位博士生正在实验室做测试和监测相关数据,以不断提高系统的性能。
琶洲实验室脑机智能研究中心陆子霖博士首先向记者演示了多模态脑机融合控制的轮椅机械臂系统的操作。只见他坐在轮椅里,之后戴上一个多模态脑机头环,再打开身前的平板电脑,然后开始演示,当他用目光瞄准平板电脑上的“前”,然后眨眨眼,机械臂便开始向前运动,过程中机械臂根据他调整头部的位置改变运动姿态,很快就运动到了前方桌上的水杯边,再对着屏幕上的“喝水”眨眨眼,机械臂便准确地将桌上的水杯握住,之后缩回来将水杯放到他的面前。之后,他又开始操作电动轮椅带着他行走,只见地面放着好多个花盆,他左右轻轻转头,轮椅就会跟着他左右转弯,准确地避开地面的障碍物。
陆子霖告诉记者:“这台机器是机械臂和轮椅的结合,我们的目的是为了帮助那些运动障碍患者,特别是一些上、下肢有严重肢体障碍的患者完成行走或一些端茶倒水的动作,这些动作原先需要陪护者帮助他完成,有了这台机器后,患者就能够自主完成这些事。”
陆子霖博士所佩戴的多模态脑机头环,可以采集眼电信号、脑电信号、头动信号等多模态的信号,计算机将这些信号进行融合处理后,便生成控制指令,让坐在轮椅上的人自主控制轮椅,在房间内自由活动,抓取杯子喝水等。“这台机器目前还是实验室的样机,属于初代产品。后面,我们要不断提高系统的准确率和它的人性化操作,研发出更贴近用户的升级产品,提高运动障碍患者的生活质量。”
记者看到,平板电脑上的使用界面上有一个“SOS”键,“SOS这个键也可以绑定联系人,紧急情况时按下可以马上停车并给联系人发求救短信,用多种措施尽可能保证用户的安全。”
高位截瘫患者可发微信玩游戏
利用脑机接口技术而打造AI智慧病房是团队目前已经产业化的产品。李远清介绍,AI智慧病房已在广东省工伤康复医院、中山三院等多家医院的康复科投入使用,让一批患者得到帮助。
团队的朱嘉炜博士向记者演示AI智慧病房的操作。和轮椅类似,智慧病房主要由病床、平板电脑和其他外接设备组成。朱嘉炜博士头戴多模态脑机头环,目视平板电脑上的各个操作按键,眨一眨眼,就可以对病床和其他外接设备进行控制。比如可以操作向左翻身,向右翻身,抬腿,抬身体等。同时,操作者还可以控制空调、照明的开关、房间窗帘的开关灯。利用平板电脑,测试者还可以下象棋,登录和使用微信等。
“如大家所见,原本需要家人24小时陪护的肢体障碍患者,通过我们的技术,可以承担部分自主护理的功能,控制自己的起身、翻转、呼叫以及房间内的各类智慧家居,甚至可以在线就业,分担家庭的压力。”李远清介绍,脑机AI智慧病房面向肢体残障、脊髓神经损伤、中风、渐冻症等肢体障碍人士,应用场景主要包括医院病房、干部休养所、残障托养机构、养老机构、居家护理等。它可让肢体障碍人士通过“脑机AI头环”控制外部设备,系统通过脑机AI算法分析脑电、眼电在内的多模态信号,让肢体障碍患者以脑机接口操作电脑光标的方式自由地操控手机电脑等设备,并能实现与护士站的实时远程沟通。使用者可以像正常人使用鼠标一样地操控手机和电脑,进行文字阅读、图片浏览、视频观看等。
目前,李远清也收获不少患者的正面反馈,“我们遇到过一个小伙子,他因为意外造成高位截瘫,四肢都不能动,还做了气管切开,因此也不能说话。所以小伙子的情绪是非常沮丧的。在使用我们的智慧病房后,小伙子的生活和以往有了质的改变,他不仅可以在床上自由地调整姿势,还可以玩游戏,和家人朋友发微信,情绪和之前相比也有比较大的改观。”
李远清
李远清表示:“我们在使用的AI智慧病房属于第三代产品,未来我们还会进一步提高他的性能。不少医院也愿意使用我们的设备,在患者康复方面做一些标杆性的尝试。我们的脑机接口产业化目前还处在起步阶段。”
但李远清相信,脑机AI智慧病房和脑机智慧轮椅未来一定能走进寻常百姓家。
冥想系统干预不良情绪
脑机接口不仅可以让大脑控制外部设备,也可以让外部设备向大脑反馈信息,以达到干预和调整大脑情绪的目的。在实验室内,记者亲身感受了团队设计的冥想脑机接口交互系统。
记者戴上一个脑机头环,坐在椅子上,静静地看着屏幕,感受到了该系统的神奇。据介绍,这个头环收集的是脑电信号,这些信号可以真实反映大脑的状态是疲劳、紧张还是轻松、愉快、专注等,而大屏幕就会将大脑的活动通过精美的画面呈现出来。
“我们可以用这套系统来进行一些精神心理疾病的监测和干预,比如抑郁、焦虑等,都可以通过这样的大脑反馈训练渐渐得到缓解。当然,这个冥想系统对普通人也是有帮助的,可以帮助调节情绪,舒缓压力。比如一些上班族,可以通过冥想系统来达到精神放松的目的。”在实验室为记者演示的包晓雨博士说,在欧美市场中,冥想已经被证实为一个行之有效的对抗焦虑方法,相比心理医生治疗门槛更低。但传统冥想通常采用声音引导练习或自主静默练习的方式进行,冥想者很难客观评估自己的状态。而脑机接口技术可以量化人的大脑状态,非常适合应用于在冥想领域,解决传统冥想评估难的痛点。
除了冥想系统,记者在实验室还看到一款利用脑机接口预防疲劳驾驶的机器,只见测试者头戴多模态脑机头环,坐在模拟驾驶室里开动汽车,脑机头环和摄像机不断检测测试者的眼信号和脑信号,以判断测试者的疲劳状态。“尽管目前交通法规要求货车司机开车4小时候必须强制休息,但这并不能检测到司机具体的精神状态,利用这套系统,司机即时的疲劳状态也可以被我们监测到。”参与实验的朱嘉炜博士向记者介绍。
钻研脑机接口理论17年 他开始进行产业化尝试
在做脑机接口的产业化尝试前,李远清及其相关团队已经钻研相关理论和技术17年的时间。
李远清告诉记者,他本科毕业于武汉大学数学系,硕士就读于华南师范大学数学系,博士转而攻读自动控制,在华南理工大学自动控制系学习控制理论。博士毕业以后,他转向信号处理的科研方向。
2002年,李远清来到日本脑科学研究所工作。当时,日本的脑科学科研水平很高,做脑科学研究离不开脑信号,结合自己的科研背景,李远清将研究方向转到脑信号处理,“脑科学不是科幻,而是实实在在的前沿研究领域,每年都有很多研究成果出来,我的学术背景是数学、自动控制、信号处理,并非生物医学,所以我就选择了一个切入点——脑机接口。当年,对于脑机接口的科研才刚刚出现,尽管相关概念最早在20世纪70年代就已经提出,但那时全世界做脑机接口的科研单位也就5家左右。”
自此,脑机接口就成了17年来李远清专注的研究方向,这个方向也渐渐成为各界关注的风口。如今,做脑机接口的科研单位越来越多,很多企业也参与了进来,“中国做脑机接口的公司目前恐怕都已经有几十家了,科研单位就更多了。”
李远清介绍,脑机接口通常可分为几个模块。第一个模块是脑信号的采集获取;第二个模块是对收集到的脑信号进行分析,解码大脑的意图和大脑的状态;第二个模块是把分析结果进行应用,比如控制外部的设备等;第四个模块是反馈,机器将外部情况反馈给大脑,大脑进而调整策略,调整脑信号,这样就形成了一个脑机互动的“闭环”。
李远清的科研在理论和实践上都具有不少独创性。他们建立了高效脑信息解码算法群,为脑机AI提供算法与平台支撑;此外,他还是在国际上最早开展多模态脑机交互技术研发的科学家之一,引领和推动了该方向成为领域热门方向。李远清告诉记者:“我们在基于稀疏表示的脑信号分析的算法方面具有开创性,脑信号分析的稀疏表示算法是我们最早提出来的。另外多模态脑机交互是我们的优势所在,这是脑机接口领域的热门方向,这个方向我是最早提出来的人之一,脑机接口在意识障碍方面的应用,我们也是引领性的。因此这方面的工作,我们具有一定的国际影响力。”
李远清介绍,琶洲实验室脑机智能研究中心围绕脑机接口基础理论、关键技术、系统平台、应用示范等开展全方位、系统性研究。“脑机接口的应用是非常广泛的,未来100年,人类都不可能将脑的研究做完。”李远清告诉记者,除了团队目前在做的一些养老助残的应用,心理疾病的干预,心理健康、情绪的调节外,脑机接口还可以用来训练小孩子的注意力,这对于小儿多动症等问题的改善都将有很大帮助。另外,还有一些国家早就在探索脑机接口技术在军事领域的应用。
2019年起,李远清开始将脑机接口投入产业化运用。他告诉记者,脑机接口产业化首要的是保障安全性,“比如接口对大脑是安全的,这是要首先保证的。另外,我们在解码脑信号或脑信息肯定有一个准确率,准确率不可能做到100%。因此我们要保障即使出错,对使用者也是没有伤害的。譬如用脑机接口控制轮椅。坐在轮椅上面,测试人没有让轮椅走,结果它自己开起来了,或者是我们的AI智慧病床,不能说睡在床上,突然之间床动起来了,这是要绝对避免的。为此,在保障脑机接口较高准确率的前提下,我们可通过其他的算法,其他的方式来避免这种事情发生,这是做得到的。”
目前,李远清及其团队仍在不断提升产品的各项性能,如提高产品的准确性,使用的便利性,快捷性等,从而让市场更加认可脑机接口的相关产品。“大学老师搞产业化跟搞研究的差别太大了,科研成果和市场之间是有一道鸿沟的,但我想,科研成果如果只躺在论文里,肯定是不行的。幸而我所在的琶洲实验室和华南理工大学为我提供了很好的政策,才让我们有了产业化的初步尝试,我们离产业化的成功还有距离,这是我们需要努力去实现的。”
文/广州日报·新花城记者:武威
图/广州日报·新花城记者:武威
视频/广州日报·新花城记者:武威
广州日报·新花城编辑:蔡凌跃