中国科学家:基于脑电的情绪识别研究,借助人工智能AI提升抑郁症的诊断

发布时间:2017-06-08 16:28  浏览次数:

314 2012  8 

 Vol.31 No.4    August 2012

中国生物医学工程学报

Chinese Journal of Biomedical Engineering

基于脑电的情绪识别研究综述

聂聃 王晓韡 段若男 吕宝粮

上海交通大学计算机科学与工程系仿脑计算与机器智能研究中心,上海  200240)

 上海交通大学智能计算与智能系统教育部 - 微软重点实验室,上海  200240)


引言

    情绪是一种综合了人的感觉、思想和行为的状态,它包括人对外界或自身刺激的心理反应,也包括伴随这种心理反应的生理反应。 在人们的日常工作和生活中,情绪的作用无处不在。 在医疗护理中,如果能够知道患者、特别是有表达障碍的患者的情绪状态,就可以根据患者的情绪做出不同的护理措施,提高护理质量。 在产品开发过程中,如果能够识别出用户使用产品过程中的情绪状态,了解用    ,就可以改善产品功能,设计出更适合用户需求的产品。在各种人-机交互系统里,如果系统能识别出人的情绪状态,人与机器的交互就会变得更加友好和自然。 因此,对情绪进行分析和识别是神经科学、心理学、认知科学、计算机科学和人工智能 等领域的一项重要的交叉学科研究课题。

        

    对于情绪的研究由来已久,使用的方法也各不相同。近年来,随着脑电信号采集设备的应用和推广,信号处理和机器学习技术的快速发展,以及计算机数据处理能力的大幅提高,基于脑电的情绪识别研究已经成为神经工程和生物医学工程领域的热门课题。文中将介绍目前国内外基于脑电的情绪识别研究的现状以及发展趋势。

    文中从多个角度介绍情绪的相关理论。随后,从情绪的诱发、脑电信号的采集、脑电信号的预处理、特征提取、特征选择、情绪模式的学习和分类等 6 个方面详细介绍利用脑电进行情绪识别的方法。


情绪

1. 1 情绪的生理基础

    情绪最早的定义出现于美国心理学之父 James  1884 年发表的文章,他认为情绪是人们对于自己身体所发生的变化的一种感觉,先有身体的变化才有情绪的感知,任何情绪的产生都一定伴随着身体上的某些变化,如面部表情,肌肉紧张,内脏活动等[1]1885 年丹麦生理学家 Lange[2]也提出了类似的观点。因此,后人把他们对情绪的研究统称为 James-Lange 理论,也叫情绪的外周理论。James- Lange 理论肯定了人的生理因素与情绪之间的内在联系,但将情绪的产生只归结为外周生理的变化却带有片面性。

    1927  Cannon 在论文中否定了 James 的情绪理论,提出情绪的产生是由丘脑所决定的。认为当外界刺激传递到大脑皮层后,大脑皮层就会激活丘脑,并由此产生相应的不同情绪[3]Cannon 的同事 Bard 也认为情绪的产生与丘脑有关,因此有人将他们的研究称为 Cannon-Bard 理论。Cannon-Bard 理论肯定了丘脑在情绪产生过程中的重要作用,但完全否定了外周生理与情绪产生之间的关系,也失于片面。1937  Papez 再次将情绪的产生与人的生理活动联系在一起,并提出了情绪产生的边缘系统机制,即 P a p e z 环路 ( 如图 1 所示 ) [ 6 ] 。他认为,与情感刺激相关的感觉信息在传到丘脑后,会向感觉皮层思维流和下丘脑感觉流传播。Papez 提出从下丘脑到丘脑前核1再到扣带皮层2的连接。当扣带皮层整合从下丘脑传来的信号和从感觉皮层传来的信息时,便产生了情感体验或感觉。从扣带皮层到海马体3再到下丘脑4的输出产生了自上而下的情感反应皮质控制。在 Papez 环路提出十几年后,心理学家 Maclean 在其基础上又提出了内脏脑的概念。他认为内脏脑负责调解所有与情绪相关的器官,并通过下丘脑调解内脏和骨骼的相应反应[5]Papez-Maclean 理论将前人对于情绪的研究结果统合在了一起,为后人对情绪的研究奠定了基础。

阿尤卡运动心理健康 中国科学家:基于脑电的情绪识别研究,借助人工智能AI提升抑郁症的诊断

1   情绪功能性解剖学的  Papez环路理


    尽管对情绪的定义至今尚未统一,还在进一步研究之中,但神经科学和认知科学的研究结果表明,情绪的产生与生理活动,特别是与大脑皮层的活动密切相关,这为通过研究大脑皮层的活动分析和识别人的情绪状态提供了理论依据。


1. 2 情绪的分类

    对于情绪分类的研究也一直是众说纷纭,没有定论。人的情绪千变万化,究竟每种情绪是作为个体而独立存在的,还是不同情绪之间存在着某种相关性,这都是学者们至今仍在讨论的问题。

    我国自古就有喜怒哀乐悲恐惊七情的说法,近代的学者们通过研究也分别提出了不同的基本情绪集[7]James 的情绪集包括愤怒、恐惧、悲痛、爱等; Ekman 的情绪集包括愤怒、恐惧、伤心、快乐、厌恶、惊讶等; Clynes 的情绪集包括愤怒、憎恨、悲痛、快乐、爱、浪漫、仇恨、无情绪等; Izard 的情绪集包括愤怒、害怕、悲痛、快乐、惊讶、关心、厌恶、鄙视、内疚、羞耻等。他们认为人的所有情绪都是由基本情绪集扩充而来的。

    然而通过逐步的研究,人们发现某些情绪之间存在着一定的关联性,比如愤怒和厌恶有时会同时出现。因此,有学者根据这种关联性开始用不同的维度来表示情绪。目前最常见的分类方法是 Lange 的二维情绪分类模型如图 2 所示[8],用纵坐标表示人们心情的愉悦程度,从不喜欢逐渐过渡到喜欢用横坐标表示状态的兴奋程度,从低迷逐渐过渡到兴奋。这样不同的情绪就可以通过分解为两个维度映射到该坐标系中。


1. 3 情绪的诱发

    近代以来,越来越多的学者加入到了情绪研究的行列,而情绪研究的重要前提条件之一就是诱发出人的不同情绪。情绪的诱发可以通过外部刺激和内部响应等方式实现,目前常见的情绪诱发方法主要有以下3:


阿尤卡运动心理健康 中国科学家:基于脑电的情绪识别研究,借助人工智能AI提升抑郁症的诊断


2   Lange 情绪分类模型


1 )  通过图片、音乐和视频等外部刺激诱发被试的不同情绪,这也是目前被学者们最普遍使用的刺激方法。为了客观有效地诱发出被试的不同情绪并对相应的情绪状态进行标记打分,Lang 等建立了国际情感图片系(如图3所示)和国际情感数码声音系 他们选取了不同年龄段、不同性别、不同种族的被试为系统中的材料进行打分,并最终得到了情感系统中每个材料在愉悦度、唤醒度和优势度等3个维度的得分,为所诱发出的情绪类别提供了标记依据。 罗跃嘉等对上述系统进行了本   ,建立了中国情感图片系统、中国人情感面孔图片系统,  情感数码声音系 统和汉语情感词   ,为中国本地化情绪研究提供了良好的素  


2 )提示被试做出不同情绪状态下所对应的面部表情。Paul 等通过研究人的脸部肌肉动作和表情之间的关系提出了一套面部行为编码系统,他们认为人的情绪都会通过面部表情表现出来,脸是诚实。因 ,一些学者在这个理论的基础上通过要求被试做出不同的表情来研究被试相应的情绪状态,然而这种方法并不是完全可靠的,因为当人们试图掩饰自己的情绪时,其面部表情的变化也会变得不易被察觉。


3) 让被试自行回忆带有相应感情色彩的记忆片段。这是一种完全由被试内部诱发情绪的方法,也被一些学者作为情绪研究的基本方式。然而这种方法的缺点是无法保证被试能够找到带有相应感情色彩的记忆片段,情绪所能保持的时间也很难进行测量。

    上述 3 种情绪诱发方法各有优缺点。因此,在实际的研究中,人们需要根据不同的环境选择合适的方法对被试的情绪进行诱发。


1. 4 情绪识别方法

    对应于不同的情绪诱发方法,情绪识别方法也各不相同,常见的情绪识别方法主要分为两大类基于非生理信号的识别和基于生理信号的识别如表 1 所示。基于非生理信号的情绪识别方法主要包括对面部表情和语音语调的识别。面部表情识别方法是根据表情与情绪间的对应关系来识别不同的

阿尤卡运动心理健康 中国科学家:基于脑电的情绪识别研究,借助人工智能AI提升抑郁症的诊断

3   刺激材料由愉悦度与唤醒度组成的二维空间分布


情绪在特定情绪状态下人们会产生特定的面部肌肉运动和表情模式,如心情愉悦时嘴角会上 翘,眼部会出现环形褶皱;愤怒时会皱眉,睁大眼睛 等。目前,面部表情识别多采用图像识别的方法来实现  。语音语调识别方法是根据不同情绪状 态下人们的语言表达方式的不同来实现的 ,如 心情愉悦时说话的语调会比较欢快,烦躁时语调会 比较沉闷。 基于非生理信号识别方法的优点是操作简单,不需要特殊设备。 缺点是不能保证情绪识别的可靠性,因为人们可以通过伪装面部表情和语音语调来掩饰自己的真实情绪,而这种伪装往往不易被发现。其次,对于患有某些特殊疾病的残疾人来说,基于非生理信号识别的方法往往难以实现。

阿尤卡运动心理健康 中国科学家:基于脑电的情绪识别研究,借助人工智能AI提升抑郁症的诊断


    基于生理信号的情绪识别方法,主要包括基于自主神经系统(autonomicnervous system) 的情绪识别和基于中枢神经系统( central nervous system) 的情绪识别。基于自主神经系统的识别方法是指通过测量心率、皮肤阻抗、呼吸等生理信号来识别对应的情绪状态。美国麻省理工学院的 Picard 等人通过对人体自主神经系统的测量和分析,识别出了平静、生气、厌恶、忧伤、愉悦、浪漫、开心和畏惧等 8 种不同的情绪[20]。这些自主神经系统的生理信号虽然无法伪装,能够得到真实的数据,但是由于准确率低且缺乏合理的评价标准,因此不太适合于实际应用。

    基于中枢神经系统的识别方法,是指通过分析不同情绪状态下大脑发出的不同信号来识别相应的情绪。这种方法不易被伪装,并且与其他生理信号识别方法相比识别率较高,因此越来越多的被应用于情绪识别研究。常见的基于中枢神经系统的识别方法主要包括功能核磁共振( fMRI) 和脑电 ( EEG) 。由于功能核磁共振的设备体积庞大、价格昂贵,不宜实际应用。因此,基于脑电信号的情绪识别是目前比较常用的方法。


基于脑电的情绪识别

2.1 脑电的概念

    脑电( EEG) 是指按照时间顺序,在头皮表层记录下的由大脑神经元自发性、节律性运动而产生的电位。神经科学、心理学和认知科学的研究表明,人的很多心理活动和认知行为都可以通过脑电反映出来,因此脑电已经被越来越多的引入到情绪识别的研究。

2. 2 基于脑电的情绪识别的主要步骤

    利用脑电进行情绪识别的主要步骤包括情绪的诱发、脑电信号的采集、脑电信号的预处理、特征提取、特征降维、情绪模式的学习和分类等。

    情绪的诱发方法已经在 1. 3 节中进行了详细介绍,这里不再赘述。

    脑电信号的采集通常包括信号的提取和放大。本文所介绍的脑电信号的提取是通过将电极置于头皮处实现的。由于脑电信号非常微弱,因此在提取脑电信号后需要通过放大器进行放大。脑电信号放大后,还需要通过预处理算法去除伪迹,从而得到相对纯净的脑电信号。在情绪识别的后4个步骤中,不同学者所采用的方法不尽相同。下面将对脑电信号的预处理、特征提取、特征降维、情绪模式的学习和分类等 4 个步骤进行详细介绍。

2. 3 脑电信号的预处理

    由于脑电信号十分微弱,因此在采集过程中很容易受到其他噪声信号的干扰。脑电信号的预处理主要是指去除采集到的脑电信号中所掺杂的伪迹。在情绪识别研究中,所要去除的伪迹主要包括眼电、肌电、心电、工频干扰、电磁干扰和任务不相关的脑电等。目前比较常用的伪迹去除方法主要包括滤波和独立成分分析等。由于工频干扰和电磁干扰往往发生在高频段,因此可以通过带通滤波或低通滤波的方式将容易产生干扰的频段过滤掉,只保留有效的频段的脑电信号。对于不易通过滤波去除的伪迹,通常采用独立成分分析、主成分分析等方法,找出干扰信号并将其与脑电信号分离开。

        Bartels 等将盲信号分离、独立成分分析和支持向量机相结合,提出了一种有效的去伪迹处理方法[21]。通过分析每个算法的特点,得出了用盲信号分离中的 Amuse 算法去除眼电,用独立成分分析中的 Infomax 算法去除肌电的预处理方法,并得到了较好的去伪迹效果如图 4 所示

阿尤卡运动心理健康 中国科学家:基于脑电的情绪识别研究,借助人工智能AI提升抑郁症的诊断


 4 去伪迹前( a) 与去伪迹后( b) 脑电信号对比


2  4      

        特征提取是指对脑电信号进行变换,找出与任务相关的代表性特征的方法。 在基于脑电的情绪识 别 研 究 中,特征提取是至关重要的一个环节,只

有提取出真正与情绪相关的特征,才能为后续的识别提供保证。常见的脑电特征主要分为3类:时域特征、频域特征和时-频特征。

 

2.  4.  1  时 域 特 征

        时域特征是几类特征中最直观也是最容易得到的,这种方法往往将去除伪迹后的脑电信号在时域上的信息或将时域上的信号统计量作为特征。Khalil 等将脑电时域信号的均值、标准差、偏斜度、峰值、原始信号首次差异的平均绝对值、归一化后 信 号的首次差异的 平 均 绝 对 值等作为脑电特征。Zhang 等将对称电极间在时域上的振幅差作为脑电特征。时域特征在情绪识别中的一类典型应用就是事件相关电位分析法。 事件相关电位(event-relatedpotentials) 是指当外加一种特定的刺激,作用于感觉系统或脑的某一部分,在给予或撤销刺激时,或当某种心理因素出现时,在脑区所产生的电位变化。在利用事件相关电位进行情绪识别的研究中,通常采用带有不同情感色彩的图片或带有不同表情的人脸图片作为刺激材料,再通过分析被试观看图片后相关脑区产生的诱发电位识别不同的情绪。

        Eimer 等用带有惊恐和中性表情的人脸图片作为刺激材料,并利用事件相关电位来找出惊恐情绪和中性情绪间的差异。 他们发现在直立放置的惊恐表情图片出现后,被试会在120ms内在额中部位产生正向电位。若将图片倒立放置,相关电位会延迟出现。他们在前人研究的基础上还发现,带有情绪的人脸图片相对于中性人脸图片来说都会正向 增 强 事 件 相 关 电 位 。在人脸图片出现后的120~180ms间 ,这个正向电位就会产生。此外,他们通过对比研究发现,人脸相关的N170现象并不会影响情绪的识别,由此可见情绪表达分析和人脸结构编 码在大脑信息处理过程中是两个平行的体系。

 

2.  4.  2  频 域 特 征

        频域特征是指将原始脑电信号从时域转化到频域,再从其中提取出相关频域特性作为脑电特征。

        神 经 科 学 和心理学的研究表明,脑 电 的delta频段 (1~4Hz)、theta频 段 (4~8Hz)、alpha频 段 (8~13Hz)、beta频 段 (13~30Hz)和gamma频 段 (36~44Hz)等5个频段与人的各项生理及心理活动有着密切的关系。 因此,在提取脑电频域特征时,很多学者会先将脑电信号映射到这5个频段上,再分别提取出各个频段对应的频域特征。

        常见的频域特征有功率谱,功率谱密度,能量等。这些特征的提取通常都建立在功率谱估计的基础上。经典的功率谱估计是以一定时间段数据的傅里叶变换作为基础的估计,通常通过直接法和间接法两种途径实现。 直接法是将功率谱看作是幅频特性平方的总体均值与持续时间之间的比值来计算;间接法是先计算出相关函数,再进行傅里叶变换,从而得到所要求的功率谱估计。 在此基础上就可以得到功率谱密度和能量等频域特征。

        Zouridakis等 首 先经过带通滤波将原始脑电信号映射到上述5个常用频段上,再分别求出5个频段所对应的频段能量,以此作为脑电特征进行情绪识别。Aftanas等利用傅里叶变换将原始脑电信号映射到theta、alpha 和beta频段上,并在功率谱的基础上求出了每个电极的功率谱密度作为脑电特征。Kothe 等提出了一种叫做完备谱回归方法来研究脑电和认知的关系。 其中在特征提取部分,他们利用自适应混合独立成分分析的方法,将通过感知器直接得到的信号映射到一种完备源信号表示中 ,并通过线性或非线性的稀疏学习选择出一系 列的稀疏特征,最后在此基础上得到功率谱密度作为最终的特征。

 

2.  4. 3    时 频 特 征

        由于脑电信号的不稳定性,单纯考虑时域特征或频域特征都是不全面的,因此越来越多的研究开始将时域和频域联系起来,找出能够同时反映时域和频域的脑电特征,这里称其为时频特征。提取时频特征的常见方法,主要有短时傅里叶变换和小波变换等。

        短时傅里叶变换是在传统傅里叶变换的基础上加入窗函数,通过窗函数的不断移动来决定时变信号局部弦波成分的频率和相位。 Lin等以音乐作为刺激材料,通过32导的电极帽采集情绪实验中被试的脑电信号,再利用短时傅里叶变换将脑电信号映射到上述5个常用频段上,之后分别计算出每个频段所对应的功率谱密度,最后利用电极间的对称关系组合出4组特征,分别是:对称电极间的差,对称电极间的商,除去中间电极后的电极功率谱密度,以及所有电极各自的功率谱密度。 通过这4组特征进行后续的情绪识别。小波变换是指用某些特殊函数作为基函数,并以此对数据进行变换操作,从而发现其类频谱特征的变换过程。与短时傅里叶变换一样,小波变换也将时域和频域联系起来,与短时傅里叶变换不同的是小波变换的窗函数可以随频率的改变而改变,从而能够给出更好的特征表示。 Murugappan等用视频片段作为情绪实验的刺激材料,在经过预处理之后对脑电信号进行小波变换,从而得到一系列的小波系数,通过小波系数得到频段的能量。 Murugappan等将子频段的能量在总体能量中的比率,alpha 频段小波系数的均方根及能量作为脑电特 征。

 

2.  4. 4    其 他 脑 电 特 征

        除了上述3种常见特征外,还可以从脑电信号中提取出许多其他特征,如熵、分形维数以及研究者们自定义的特征等。

        归一化后的脑电时序信号总是在0值附近上下震动,即使使用滤波器对信号进行过滤,这种现象也仍然存在。在对这种现象观察的基础上Petrantonakis 等提出了一种新的情绪识别脑电特征,称为高阶交叉(higher ordercrossings) ,利用这种特征得到了较好的情绪识别结果。Khosrowabadi等在将原始脑电信号滤波到4~13Hz后,分别采用核密度估计和高斯混合模型的方法提取出对应脑区 的 脑 电 特 征。Aftanas等曾在研究中使用非线性 的K熵和李雅普诺夫指数等作为脑电特征。

        在很多情况下,脑电特征可以与其他生理特征或非生理特征结合共同用于情绪识别。 Scotti 等将脑电特征与皮肤阻抗、血压、心电等自主神经信号一起作为情绪识别的特征。 Zhang等将脑电信号与人脸表情相结合用于识别被试的情绪状态。

         McDonald 等在由美国空军研究实验室组织的2011年认知状态评估比赛中,将多种脑电特征和非脑电特征去粗取精,较好的结合在一起,这些特征包括传统的脑电功率谱密度,脑电在theta、alpha、和 gamma等频段上的映射值及其代数变化,眼电,肌电以及心电等特征。

        上述脑电特征各有特点,可以针对具体的研究环境选取合适的脑电特征或者将几种特征结合在一起,取长补短,从而提高情绪识别的准确率Christos 等利用国际情感图片系统中的图片作为诱发材料,同时提取由图片诱发的事件相关电位(P100 ,N100 ,P200 ,N200 ,P300 )的时域特征(幅度与延迟)与其频域特征(delta 频段,theta频段与 alpha 频段的幅度)作为最终特征,用于情感分类,取得了较好的效果。

 

2.5  特征平滑与特征降维

        情绪状态的变化通常是一个渐变的过程,而脑电信号中有一些变化剧烈的成分。 为了尽可能的减少这些剧烈变化部分的干扰,需要对脑电特征进行平滑。目前比较常用的平滑方法是滑动平均,但是由于滑动平均具有一定的时间延迟。 为了保证情绪状态识别的实时性,Shi 等引入了线性动力系统方法对脑电信号进行平滑,从而降低了任务不相关脑电信号对分析的影响(如图5所示)。

        在 情 绪实验中,大家通常使用32导 、64导或128导的电极帽。而提取出的脑电特征往往是对应着每个电极,这就会导致脑电特征的维数很高。 然而,脑电特征的维数越高,所要采集的信号就越多,显然不利于情绪识别的实际应用。 因此,从已有脑电特征中选择出数量少且与情绪高度相关的特征非常必要,这也就是特征降维所要完成的任务。

        特征降维的方法可以分为两大类:一类是特征选择,即从特征集合中挑选与任务相关的特征子集;另一类是对原有特征进行线性或非线性变换,将其映射到能够最大限度反映情绪状态的维度上,从而在数量上也达到了一定程度的减少。 这主要包括主成分分析(PCA )、独立成分分析(ICA )和共同空间模式(CSP)等。


阿尤卡运动心理健康 中国科学家:基于脑电的情绪识别研究,借助人工智能AI提升抑郁症的诊断

图5   用线性动力系统方法对脑电信号进行平滑 前后的对比。

 (a )线性动力系统平滑前;

(b )线 性动力系统平滑后


阿尤卡运动心理健康 中国科学家:基于脑电的情绪识别研究,借助人工智能AI提升抑郁症的诊断

图 6   6名被试情绪状态的分类准 确率与特征维数的关系


        在基于脑电的情绪状态识别研究中,笔者利用特征与情绪类别的相关性进行降维。 首先将62导电 极 各 自 所 对 应 的5个频段的能量作为脑电特征,

这样脑电特征的总数共有310个。为了减少特征维数,又计算出每个特征与实际情绪类别间的相关系数,并按照相关系数从大到小的顺序重新排列这些特征,通过选取列表前面的特征就实现了降维。 在研究中发现,当特征维数达到一定数量时,情绪分类的结果基本保持不变,而这个数量要比原始的脑电特征数量小得多(如图6所示)。 这个结果说明了在原始的脑电特征中有相当一部分特征是与情绪不相关或者相关性很低,这样在以后的应用中就可以忽略掉这部分特征,从而提高了脑电信号采集和数据分析的效率。

        Lin 等采用统计学上常用的F 积分索引方法实现特征选择。 这种方法的核心思想是为每个特征计算一个F值,这个值代表的是该特征的类间方差与类内方差的比值,F值越大说明这个特征越能反映不同类间的差异,将一定范围内F值较大的特征挑选出来就实现了特征选择。

        Zhang等用电极间的振幅差作为特征。 由于采样率和时间长短的关系,得到了600维的脑电特征。为了降低特征维数,采用无监督的主成分分析法进行特征选择。 这种方法的核心思想是找出一组最能反映高维特征特性的坐标系,并将原始的高维特征通过线性变换映射到这组坐标系中。 通过这种方法他们提取出了相对较优的前100维特征用于情绪识别的后续分析。

        Li等通过共同空间模式(CSP)来实现降维。 这里降维的目的是为了找出每个被试所对应的最佳频段。首先通过傅里叶变换将原始脑电信号转换到频域上,设定动态带宽量以保证所找出的频段不会短于或长于被试的最佳频段带宽。 在动态变化的每段频段上,利用共同空间模式将特征映射到类间差异最大的投影方向,分别找出最佳的前2 、4 、20 和40维特征,并通过每组特征对应的分类精度找出最适合该被试的频段和特征维数。

        Firpi等采用一种叫做粒子群优化的算法对提取出的特征进行选择。 这种方法是将特征抽象为没有重量的微粒,并通过多次迭代找出每个微粒对于本身和全局来说的最佳位置。 利用这种方法,可选取出较优的特征。

 

2.  6   情 绪 模 式 的 学 习 和 分 类

        如何通过这些脑电特征确定各种情绪状态的脑电模式?  如何通过相应的脑电模式来对未经训练的特征样本进行分类?  是情绪状态的学习和分类所要完成的任务。

        实现情绪状态识别的方法主要可分为两大类: 一类是无监督的学习方法;另一类是有监督的学习方法。

 

2.  6.  1  情 绪 状 态 的 无 监 督 学 习

        无监督学习是指在对样本进行模式训练时不对其指定类别信息,而是由样本自身向特性相近的样本靠近,与特性相异的样本远离,从而达到同类样本聚集,异 类 样 本 分 离 的 效 果 ,最终实现模式的 分类。常见的无监督学习方法有模糊聚类、K均值和自组织映射等。

        传统的聚类方法是根据样本点间的欧式距离的远近来决定样本的类别属性,通过控制距离的大小或类中包含样本的个数来确定不同类别间的边界。在此基础上演变出了K均值、模糊聚类以及动态聚类等聚类方法。

        Murugappan等将被试高兴、害怕、厌恶和惊讶等四种不同情绪的样本混合在一起,利用模糊C均值聚类的方法,通过寻找类别本身的固有特征,找出特征相似的样本,从而划分出情绪的  4种类别。

        Khosrowabadi 等在关于情绪识别的另一个研究中,采用图片作为刺激材料分别诱发被试的平静、高兴、悲伤和恐惧等4种情绪,并提取出了相应的脑电特征。由于被试所被诱发出的情绪有时会与所期望的不同,若采用有监督的学习方法可能会产生类别错分的现象。 他们在该研究中采用自组织映射的方法对样本进行情绪类别的划分,并得到了较好的结果。

 

2.  6. 2    情绪状态的监督学习

        与无监督学习相反,有监督学习需要对样本的类别进行标注,在类别信息的指导下不断修正模型的参数,再将得到的训练模型用于测试样本的分类。常见的监督学习方法有支持向量机、神经网络、决策树、贝叶斯网络、K近邻以及隐马尔科夫模型等。

        支持向量机是目前最为广泛使用的一种分类方法,它的核心思想是将在低维上不可分的数据集映射到高维空间上,找出不同类别间使边缘最大化的超平面,从而反过来实现对低维空间上样本的分类。通过控制核函数可以决定判决边界的线性或非线性,线性核支持向量机的复杂度相对非线性核来说较低,但非线性核支持向量机在很多情况下能够更好的拟合出不同类别间的边界。 常见的核函数包括线性核、多项式核、径向基函数核等。 由于支持向量机良好的性能,目前已被广泛应用于情绪识 别 研 究[23 ,31 ,39] 。

        K近邻法是较为简单的一种分类方法,经常被用作衡量一种分类方法性能的优劣的基准。 其核心思想是找出与未知类别样本点距离最近的K 个样本,由这K个样本中占多数的类别来决定未知样本的类别。例如最简单的1 近邻法就是将距离最近 的样本点的类别信息赋予待求样本点。

        与K近邻法使用欧氏距离不同,马氏距离分类法引入了另一种衡量距离的方法———马氏距离。马氏距离是指样本间协方差的距离,用来衡量样本间的相似度。 马氏距离的优点是不会受到不同特征量纲的影响,但缺点是容易将原本微小的变化扩大化。Frantzidis 等以图片作为刺激材料对被试进行情绪诱发,他们将所诱发的情绪按照兰格的二维坐标图分为心情愉悦和心情低落,高兴奋度和低兴奋度,并利用马氏距离分类法进行情绪分类,达到了较高的分类精度。

        贝叶斯网络是一种基于概率的推理模型,通过先验分布来表示样本分类前的不确定性,并以后验分布的形式来表示样本的分类。 Ko 等在情绪研究中采用了这种方法作为分类器。 Wang等利用带有高限制条件的隐贝叶斯模型对多人数据集进行训练和分类,并得到了几乎接近单人数据集的分类

精 度。

        隐马尔科夫模型也是一种基于概率统计的模型,它的核心思想是通过可观察到的参数来确定马尔科夫过程中的隐含参数,并通过这些隐含参数来实现模式的识别和分类。 隐马尔科夫模型通常用于语音识别领域,近年来逐渐被引入基于脑电的情绪识别研究中。

        神经网络也是一种常见的分类方法,通过模拟人体真实神经网络结构而抽象出的数学模型。 多层感知器就是一种较为常见的神经网络模型,它以样本的类别信息为指导,不断修正中间层到输出层间的参数权值,直到达到一定的标准为止,之后在利用训练出的感知器对样本进行分类。 Estepp等在相关的研究中,利用人工神经网络对不稳定状态下的认知水平进行分类并取得了较好的结果。

 

2.7    情 绪 相 关 脑区和频段的研究 

        利用脑电进行情绪识别的研究,目标之一就是选择出能够代表情绪状态的特征,并通过优化模型尽可能的提高情绪状态的分类精度,为脑电在情绪识别领域的应用提供可靠的保证。 另一目标就是在研究过程中找出与情绪状态关联最大的脑区和频段,为脑电在情绪识别领域的应用提供生理基础。

        Schmidt 等以音乐作为刺激材料分别诱发被试的开心、愉悦、悲伤和害怕等4种情绪。通过研究他们发现,听积极情绪的乐曲时,左前脑会产生较强的脑电活动,而当听消极情绪的乐曲时,右前脑则会产生较强的脑电活动,由此可见前脑与情绪有着很大的关联性。

        Sarlo 等利用手术场景、蟑螂、人类打斗和自然风光等4种影片片段,分别诱发被试的消极情绪和中性情绪。通过研究他们发现alpha 频段在情绪中起到了重要作用,并且当消极情绪被诱发时,右后脑区会产生强烈的脑电活动。

        Petrantonakis 等在前人的基础上,为了对左右脑的不平衡的差异程度进行表征,提出了不平衡指数(asymmetryIndex)  的概念,为了验证不平衡指数的有效性,他们使用国际图片系统作为诱发材料,使用高阶交叉与互相关(cross-correlation )作为特征,对4种情绪状态进行了分析,发现不平衡指数与情绪状态密切相关,验证了不平衡指数的有效性。

        Li等以图片为刺激材料并通过共同空间模式找出了每个被试的情绪最佳频段,他们的分析结果显示,大多数被试的最佳频段都分布在gamma频段上,这反映出了gamma频段在情绪识别中的重要作用。

        笔者以视频为刺激材料分别诱发被试的积极情绪和消极情绪,并提取了50个不依赖被试的共同特征,通过将这些特征映射到脑区和频段上,发现这些共性特征主要分布在alpha 频段的右枕叶和顶叶部位,beta频段的中间区域,gamma频段的左额叶和右颞叶(如图7所示)。


阿尤卡运动心理健康 中国科学家:基于脑电的情绪识别研究,借助人工智能AI提升抑郁症的诊断

图7    情绪相关特征的分布



3    基于脑电的情绪识别应用 

        随着神经科学和认知科学对情绪的深入研究和干电极技术的快速发展,基于脑电的情绪识别技术将在不远的未来得到广泛的应用。

 

3.1  高级脑-计算机接口

        目前脑-计算机接口已经涌现出了很多有效的应用,如基于运动想象的轮椅控制,基于事件诱发电位的光标控制以及在3D虚拟环境下基于运动想象的汽车驾驶等。 但是,目前脑-机交互方式仍然停留在实现残疾人的一些基本的需求上,而对于残疾人的更高级需求仍然无法实现。基于脑电的情绪识别可以在现有脑-计算机接口技术的基础上,进一步满足残疾人的某些更高级的需求,如对于患有特定疾病的残疾人,可以通过脑电分析出其对事物的喜好度,比如餐食的选择、电视节目的选择和音乐的选择等,从而设计出更加友善和更加智能的脑-计算机接口,达到更好的护理效果,提高残疾人的生活质量。

 

3.2  在线疲劳监测

        交通安全是目前社会关注的一个重要问题。对于高速铁路和长途汽车司机来说,情绪的稳定非常重要。当司机处于紧张,兴奋,愤怒或焦躁等情绪时,发生事故的几率会明显上升。 倘若利用脑电实时监控司机的情绪状态,并在司机出现不良情绪时发出警报,那么就可以在一定程度上避免或减少事故的发生。

 

3 . 3  士兵精神状态监测

        在战场上,指挥官需要及时了解士兵的精神状态。Matthews等通过在士兵头盔中布设电极,开发出可以实时监测士兵工作压力的可移动系统。指挥官可以通过该系统更好地了解士兵的状态,更合理地分配士兵的任务。

 

3.  4   远程教育

        通过计算机进行远程教育,是目前很多人选择的学习方式之一。 而通过基于脑电的情绪识别,教师可以远程实时地了解学生的精神状态,并根据学生的状态,适当的调整授课难度,以增强教育的人性化,使计算机作为媒介进行学习的功能达到最佳化。

 

4   目前存在的主要问题 

        虽然近年来基于脑电的情绪识别研究已经有了比较大的进展,但多数研究还处在实验室阶段,离实际应用尚有相当距离,主要存在下列问题有待解决。

 

4.  1   脑电信号的采集

        传统脑电采集方式通常采用湿电极技术,被试者在进行脑电采集前,必须涂抹导电介质,以克服角质层对脑电信号采集的影响。该过程需要在外人辅助下进行,时间花费较长,而且导电介质的性 能也会随时间变化。 如果采集时间过长,导电介质的导电性会下降甚至消失,使采集到的脑电信号出现失真,从而影响脑电信号的采集质量。 目前,一种新型的干电极脑电采集技术已经出现。 干电极脑电采集技术可以在一定程度上解决上述问题。但是,目前干电极脑电采集技术对在毛发区域采集到的脑电信号还不是很稳定,需要进一步改进。

 

        另外,由于脑电信号十分微弱,因此在采集过程中,必须通过高放大倍数的放大器对脑电信号进行信号放大。 目前商业化的脑电信号放大器的体积普遍较大,不利于便携式使用。 最近出现了芯片化的脑电信号放大器,可以有效解决放大器体积过大问题,但是成本仍然较高,离实用化还有一定的距离。

 

4.2    真实环境对脑电信号的影响 

        由于脑电信号在采集过程中十分容易受到外部环境的干扰,现有的伪迹去除方法往往只针对一种噪声或几种噪声有效。 而在实际应用中,由于现实环境十分复杂,干扰源也非常多,因此现有的伪迹去除方法很难有效地去除脑电信号中的伪迹。另外,在实际应用中,基于脑电的情绪识别要求在线处理,这不但要求伪迹去除算法在伪迹去除方面具有较高的有效性,对于伪迹去除算法的时间复杂度也提出了较高的要求,这就需要开发出更加有效的在线伪迹去除方法。

 

4.3   个体差异性与共同模式 

        由于脑电信号在信号表征的过程中具有一定的个体差异性,且目前的研究还基本处在实验室阶段,主要通过刺激材料诱发被试的相应情绪状态,而不同被试对于同一刺激材料的反应也会存在一定的差异。如何从这种差异之间,寻找稳定的情绪与脑电信号特征的对应关系,从而消除目前研究中的个体差异性,是目前基于脑电的情绪识别亟需解决的一个具有挑战性的问题。

 

5    结论

        情绪状态识别的研究有着十分重要的理论意义和现实意义,在人-机交互系统里有着不可替代的作用。随着近年来脑电采集技术、脑电信号处理技术和机器学习的飞速发展,基于脑电的情绪识别研究已经成为一个重要的多学科交叉研究课题,并越来越受到关注。在已有神经科学、心理学和认知科学研究成果的基础上,不断优化基于脑电的情绪识别 方 法 ,开发舒适可穿戴的干电极脑电帽,找出与情绪最相关的脑区和频段,以及建立能够更准确地识别情绪状态的系统,都是将基于脑电的情绪识别技 术真正应用于现实世界需要进一步开展的工作。




来自世界卫生组织WHO的重要事实:

  • 抑郁症是一种常见的精神疾患,全球有超过3亿人患有抑郁症(中国9千万),遍布各年龄组;预计到2020年抑郁症将成为仅次于冠心病的人类第二大疾患

  • 抑郁症是世界各地的首要致残原因,它是导致全球疾病负担的一个重大因素;最严重时,抑郁症可以引致自杀死亡(每年近80万人)

  • 可以有效治疗抑郁症(有规律的运动对于轻度和中度抑郁症患者等同于吃药的疗效)

阿尤卡运动心理健康 中国科学家:基于脑电的情绪识别研究,借助人工智能AI提升抑郁症的诊断

👇,更多有关运动提升心理健康的科学与故事

标签:
情绪识别