人工智能的全面发展,离不开对人体情感状态的自动检测。情感检测是从直接采集的信号来推断个体的情感状态,包含情感识别和情感估计。情感识别采用模式分类方法,将从采集信号中提取的特征向量分类为离散的基本情感类别,如高兴、愤怒、悲伤以及恐惧等,适用于个体极端情感状态的检测。相比于情感识别,情感估计采用函数映射方法,将信号的特征向量映射为连续的情感维度值,如情感的效价、唤醒度得分,能够提供更加细化的情感描述,适用于日常生活中个体情感状态的连续检测。目前,越来越多的研究认为个体的情感状态可以通过采集的信号来估计。以往关于情感估计的研究中,人们主要采用多元线性回归分析、偏最小二乘回归、遗传优化的支持向量回归以及人工神经网络等方法,将情感的效价、唤醒度评分回归到脑电信号、面部视屏、语音信号、身体姿势或生理信号等的特征向量上,建立计算情感维度的函数模型。采用多元线性回归分析与偏最小二乘回归方法的研究更加确认了情感生理心理系统的非线性,采用人工神经网络方法的研究一定程度上提高了模型的预测精度。这些方法为更好地解决情感估计提供了良好基础。然而,线性方法一般缺乏精确性;支持向量回归方法在刻画系统非线性方面有一定局限性;人工神经网络方法通常涉及复杂的数学公式、迭代寻优、不便于被直观理解。目前,还没有一种能够在模型计算精确性和直观性之间取得良好平衡的方法。因此,研究能够获得精确而直观的计算模型的方法对于回答产生观测信号的生理结构是如何决定情感维度的情感估计问题、提高机器的情感检测能力以及发展和完善情感估计方法学都具有重要意义。为进一步提高估计情感状态的模型预测精度、简化模型形式、增强模型实用性,论文新引入了高阶多元多项式建模方法(HMPR)来建立估计情感维度的高阶多元多项式函数模型,进而丰富情感估计方法学。鉴于情感维度的大脑动机系统和皮肤电导信号中枢机制之间的重叠关系,论文采用情感相联系的纯净皮肤电导反应信号为自变量,预测对应的情感维度,阐明高阶多元多项式建模方法的理论、算法、结果及其心理生理意义,并定位高阶多元多项式建模在解决具体情感估计问题中的地位。为此,论文开展了如下的研究工作:(1)设计了情感诱发和评价的心理生理实验,构建了综合数据采集系统。采用事件相关的实验范式,以国际情感图片数据库中的图片为情感诱发素材,诱发女大学生被试的情感状态,并采集心电、脉博以及皮肤电导生理信,采用假人形自测量表来测定被试情感状态的效价和唤醒度评分。通过实验,获得了30名被试的情感对应的效价和唤醒度评分以及皮肤电导信号;(2)提取了纯净的情感心理生理特征。论文采用Lim皮肤电分解方法来处理被试间平均的皮肤电导信号,提取情感相联系的纯净皮肤电导反应,并将这些纯净的反应表示为反应延迟时间、增益、上升时间以及衰减时间常数的四维生理特征向量。皮肤电导反应的特征向量与效价-唤醒度的被试间平均分构成基础数据集。对基础数据集执行单因数方差分析的结果说明了论文实验操作的有效性。提取基础数据集的效价、唤醒度、增益以及衰减时间常数的数据构成实验数据集。仿真数据集是为了解决高阶多元多项式建模需要相对大量的训练数据样本的问题而从实验数据集上被统计地构造出来,其中论文提出的数据扩容定理是其理论依据。仿真数据集不仅保持了实验数据集的统计特性,而且由不同于实验数据集的新据构成;(3)从建模方法的角度,探讨了高阶多元多项式建模方法如何获得精确而直观的计算模型的问题。针对某个多输入-单输出的系统,高阶多元多项式建模方法以多元多项式函数可以逼近系统的模型函数为理论基础,在输入-输出数据上,采用最小二乘的回归方法来估计多项式模型函数的未知系数,检验所获得模型的显著性,并用所获得的显著的最优多项式模型,对特定输入做出点预测和区间预测。为选择最优的模型,论文提出了综合评价模型表现能力的指数。模型指数是其预测与观测数据之间的相关系数和均方误差之商(指数越大,模型越好)。为获得模型的稳定表现,论文提出仿真数据集上建模、实验数据集上验证的新技术方案。按照高阶多元多项式建模方法的理论要求,论文设计了获得显著的最优多项式模型的可执行算法。仿真数据集上,论文以增益和衰减时间常数为输入自变量、效价和唤醒度为输出因变量,应用高阶多元多项式建模算法,获得了变换情感相联系的纯净皮肤电导反应信号为对应情感维度的情感高阶多元多项式模型。实验数据集上,此情感高阶多元多项式模型在预测效价和唤醒度的评分中分别取得了显著的相关系数0.98和0.96,从而可以作为计算单元来提升诸如智能手表、小米手环及谷歌眼镜等商业产品的情感检测能力。分析情感高阶多元多项式模型的梯度场,发现:效价成分受增益和衰减时间常数两个因素的影响,而唤醒度成分主要受增益的影响。这提供了间接的证据来支持先前研究的结论—效价成分反应了人脑的欲望子环路或防御子环路的选择性激活,唤醒度成分反应子环路的激活程度;(4)比较了论文提出的高阶多元多项式建模方法与解决情感估计的主要方法。以论文所获得的仿真数据集和实验数据集为共同基础,不同的方法将获得具有不同直观性的模型函数、不同的模型预测表现。仿真数据集上建立最优模型,以最优模型在整个实验数据集上测试时获得的指数为标准,情感高阶多元多项式模型优于目前的主要方法所获得的最优模型。进一步,以模型的实际指数为纵轴(方法精确性),以模型数学表达式直观程度的定性评级为横轴(方法直观性),论文提出了定性评价对应方法的方法图谱。在效价和唤醒度的方法图谱中,这些方法的实际位置都描绘出了倒U-型的实际谱线,并且高阶多元多项式建模方法处于实际谱线的顶部。这结果表明:高阶多元多项式建模方法目前是一种好方法,既相对直观又能获得高预测精度。倒U-型的实际谱线与理论期望—方法越是复杂、非线性、直观程度越低,所获得模型应该会越好—之间的差距表明:情感估计的方法学研究仍处于相对低级的水平,复杂方法还存在很多的理论和技术的问题需要解决。综上所述,以变换皮电反应为情感维度的具体情感估计问题为例,论文新引入了高阶多元多项式建模方法作为情感估计方法学的重要补充。发现高阶多元多项式建模方法在解决具体情感估计问题时,能够获得相对直观的多元多项式模型函数(关于输入变量的乘与和的函数),且所获得的模型具有高的预测精度。这是因为高阶多元多项式建模方法通过非线性的函数项可以很好地描述系统的非线性性质。大数据时代下,多模态数据分析技术已经是锐不可当的趋势。未来在不同人群、采用不同情感诱发方式、采集不同观测信号的具体情感估计中,如果能很好地提取各个模态中的情感相关的纯净信号特征、解释和融合这些特征,高阶多元多项式建模方法将会获得更精确的多项式函数模型和揭示更丰富的情感心理生理机制。这些直观而精确的模型将进一步提升类似于可穿戴情感计算机,感知成长机器人Nao以及AIBO狗等系统的情感检测能力,进而增进人类心理健康。