近年来越来越多的学者逐渐重视情感计算,情感计算致力于开发能够感知、理解和模拟人的情感状态的计算系统以缩小人和机器之间的交流鸿沟.情绪识别是情感计算的关键组成部分,脑电信号(Electroencephalogram,EEG)能够直接反应情感的变化状态,具有很强的客观性,所以基于脑电信号的研究已广泛开展,但是存在一些问题:脑电信号通过电极帽上不同电极采集,各电极具有空间信息,已有研究中对此方面挖掘不够充分,且大多局限于同一模态数据,忽略了不同模态特征的互补性.基于此,本文针对情绪识别开展以下工作:(1)提出基于CCA特征融合的单模态情绪识别模型.考虑到脑电各通道信号有空间关系,根据电极帽电极位置形成二维地图以对微分熵(Differential Entropy,DE)特征进行空间映射,通过卷积神经网络(Convolutional Neural Network,CNN)学习其空间信息.另一方面,由于脑电信号为时间序列数据,选择长短时记忆网络(Long Short-Term Memory,LSTM)挖掘其时间依赖性.为了最大化空间、时间特征的相关性来提取其中最相关的特征,引入典型相关分析(Canonical Correlation Analysis,CCA).最终对比CNN、LSTM、CNN-LSTM和CNN-LSTM-CCA四种模型的情绪识别准确率,结果表明综合模型优于单一模型、考虑特征之间相关性可提升情绪识别准确率.(2)提出改进的DCCA多模态情绪识别模型.在工作一基础上,进一步考虑脑电特征和眼动特征的融合,将CNN与LSTM分别对脑电空间、时间特征的提取过程嵌入到深度典型相关分析模型中,并且引入眼动特征,考虑两模态输出特征相关性,构建了改进后的深度典型相关分析(Improved Deep Canonical Correlation Analysis,IDCCA)模型,并将相关性最大的两模态特征进行平均融合,输入支持向量机分类.最终对比单一模态、多模态情绪识别准确率与不同模态下混淆矩阵,表明了该模型挖掘了不同模态数据之间互补信息,具有良好的识别效果
