论文部分内容阅读
在近日中国科协发布的12个领域60个重大问题中，人机情感交互位列其中。“无情感不智能”已经成为众多研究者的共识。
日前，在杭州举行的第七届UCAN用户体验设计论坛上，阿里巴巴人机自然交互实验室联合达摩院机器智能技术实验室和浙江大学推出了一款可以基于图文内容自动生成短视频的人工智能Aliwood。值得一提的是，该团队在研发过程中引入了“情感计算”能力，给视频所配的音乐建立起了情感模型，以便更好地抓住观众的情绪。“情感计算”让机器也可以察言观色，它是怎么做到的？
从感知信号中提取情感特征
“视频中的每一个单元都会多多少少左右我们的情绪。”阿里巴巴人机自然交互实验室负责人杨昌源在接受采访时介绍，音乐情感是视频情感的一部分，通过AI的方式给音乐建立一套情感模型，基于目前应用最广二维情感分类法模型，将备选音乐从“arousal”和“valence”两个维度划分，优先选择更为契合购物（电商）环境的偏双高模型音乐作为视频的音频配乐，为电商产品视频渲染出正向购物气氛。
如何理解情感计算，要从“情感”这个源头说起。国际关系学院信息科技系副教授李斌阳介绍，情感相对来说是一个比较笼统的概念，包括了情绪、感情、心情等多个方面。而狭义的情感计算要分析的就是人对于一个事或物所持有的观点，如褒义、贬义、正面、负面等，也可以是分析人在当时环境中的喜、怒、哀、乐等感情或情绪。
当你说“钱包丢了”的时候，具有情感计算能力的机器人会是什么反应？它不仅会接受到了钱包丢失的既定事实，还能“读”出你的悲伤，拍拍你的肩膀说，“没关系的，总有运气不好的时候。”
1985年，图灵奖获得者马文·明斯基提出应该让计算机具有情感能力，他说问题不在于智能机器能否有任何情感，而在于机器实现智能时怎么能够没有情感。从此，赋予计算机情感能力并让计算机能够理解和表达情感的研究、探讨引起了计算机界许多人士的兴趣。
情感计算（Affective Computing）一词，是美国MIT媒体实验室皮卡德教授提出的。她给出了定义，即情感计算是关于情感、情感产生以及影响情感方面的计算。让机器也具备“感情”，从感知信号中提取情感特征，分析人的情感与各种感知信号的关联，成为国际上近几年兴起的研究方向。
基于多模态融合读懂情感
情感计算是如何做到的？以文本分析为例，李斌阳介绍，最初的文本分析主要是基于词典中的词语色彩，即褒贬进行分析，并在此基础上加入一些规则提高效果。在此之后，基于传统机器学习的方法兴起，其主要围绕模型和特征两个方面。从2013年至今，深度学习方法作为一个主流分析方法被广泛应用。
“深度学习的方法提供了一种对于文本表示的建模方法。”李斌阳说，它最主要的特点是基于上下文语境，找到隐含的情感表述。举个例子，如“今天我去商场，我买了一件衣服，很好看，只花了300元”。传统的机器学习方法可能只把注意力放到“很好看”这个词，而深度学习方法则可能注意到“只花了300元”这句话，虽然没有明显的表达情感词汇，但我们可以从中体会到“只花300元”，表达说话人认为衣服是比较便宜的观点，基于深度学习的情感计算可以分析出说话人不仅认为衣服好看，还很便宜，这是和传统机器学习最大的不同。
“目前，有很多情感分析基于多模态融合的方法。”李斌阳说，以前我们探讨的情感分析多指文本中的情感分析，现在的情感分析是多维度的，如文字+图片+表情+颜文字的综合分析，文本+语音+图像的综合，即多模态情感分析，是目前来说比较前沿的情感分析研究方向。
杨昌源也认为现在多模态情感分析是发展的主流方向。他介绍，每个模块所传达的人类情感的信息量大小和维度不同。在人机交互中，不同的维度还存在缺失和不完善的问题。因此，人机交互中情感分析应尽可能从多个维度入手，将单一不完善的情感通道补上，最后通过多结果拟合来判断情感倾向。除了上面提到的文字、图像模态等，目前对于脑电波、皮电信号、心率等情感信息通道的研究也是新兴研究方向。
新零售、自动驾驶应用效果初现
发展近20年，目前情感计算已经应用在生活中的多个场景。如我们最传统的商品评价分析、民意调查，以及应用程序中的推荐功能。杨昌源介绍，在未来情感计算用于流媒體用户的情感分析或是一个发展方向。如在一段长视频中，用户对于某类物品的喜好操作等，可能成为精准推荐的参考。而在线下新零售中，店员也可以通过情感分析对于消费者的购物行为有一定把握。
在驾驶领域，情感计算也正应用其中。杨昌源介绍，如我们可以通过对于驾驶者微表情，以及一些生理信号的捕捉，来判断一个人的疲劳程度，从而避免交通事故的发生。MIT媒体实验室数据显示，在识别表情方面，计算机已经可以超越人类，对于真笑和苦笑的一样实验中，机器学习的成功率是92%，大幅优于人类。
此外知识图谱的引入也让人工智能更懂你。知识图谱如同人工智能的知识库，如aliwood的下一步也计划通过构建短视频知识图谱的方式将人类的知识结构化、系统化，并赋能给Aliwood，来帮助AI短视频的生成。
尽管情感计算已经深入生活，而要让机器人更加懂你却并非易事。李斌阳说，当我们追溯情感发生的本源时，我们还并不能完全清楚它的发生机制，就像钱包丢了，我们能够感受到情绪，但它的发生机制是什么，这还需要从认知学、心理学等进行探索。杨昌源介绍，目前实验室也将如何让人和机器的交互、机器和机器的交互更积极、更聪明作为一个长久目标，要实现这个目标还需要多个学科共同努力。翟冬冬
日前，在杭州举行的第七届UCAN用户体验设计论坛上，阿里巴巴人机自然交互实验室联合达摩院机器智能技术实验室和浙江大学推出了一款可以基于图文内容自动生成短视频的人工智能Aliwood。值得一提的是，该团队在研发过程中引入了“情感计算”能力，给视频所配的音乐建立起了情感模型，以便更好地抓住观众的情绪。“情感计算”让机器也可以察言观色，它是怎么做到的？
从感知信号中提取情感特征
“视频中的每一个单元都会多多少少左右我们的情绪。”阿里巴巴人机自然交互实验室负责人杨昌源在接受采访时介绍，音乐情感是视频情感的一部分，通过AI的方式给音乐建立一套情感模型，基于目前应用最广二维情感分类法模型，将备选音乐从“arousal”和“valence”两个维度划分，优先选择更为契合购物（电商）环境的偏双高模型音乐作为视频的音频配乐，为电商产品视频渲染出正向购物气氛。
如何理解情感计算，要从“情感”这个源头说起。国际关系学院信息科技系副教授李斌阳介绍，情感相对来说是一个比较笼统的概念，包括了情绪、感情、心情等多个方面。而狭义的情感计算要分析的就是人对于一个事或物所持有的观点，如褒义、贬义、正面、负面等，也可以是分析人在当时环境中的喜、怒、哀、乐等感情或情绪。
当你说“钱包丢了”的时候，具有情感计算能力的机器人会是什么反应？它不仅会接受到了钱包丢失的既定事实，还能“读”出你的悲伤，拍拍你的肩膀说，“没关系的，总有运气不好的时候。”
1985年，图灵奖获得者马文·明斯基提出应该让计算机具有情感能力，他说问题不在于智能机器能否有任何情感，而在于机器实现智能时怎么能够没有情感。从此，赋予计算机情感能力并让计算机能够理解和表达情感的研究、探讨引起了计算机界许多人士的兴趣。
情感计算（Affective Computing）一词，是美国MIT媒体实验室皮卡德教授提出的。她给出了定义，即情感计算是关于情感、情感产生以及影响情感方面的计算。让机器也具备“感情”，从感知信号中提取情感特征，分析人的情感与各种感知信号的关联，成为国际上近几年兴起的研究方向。
基于多模态融合读懂情感
情感计算是如何做到的？以文本分析为例，李斌阳介绍，最初的文本分析主要是基于词典中的词语色彩，即褒贬进行分析，并在此基础上加入一些规则提高效果。在此之后，基于传统机器学习的方法兴起，其主要围绕模型和特征两个方面。从2013年至今，深度学习方法作为一个主流分析方法被广泛应用。
“深度学习的方法提供了一种对于文本表示的建模方法。”李斌阳说，它最主要的特点是基于上下文语境，找到隐含的情感表述。举个例子，如“今天我去商场，我买了一件衣服，很好看，只花了300元”。传统的机器学习方法可能只把注意力放到“很好看”这个词，而深度学习方法则可能注意到“只花了300元”这句话，虽然没有明显的表达情感词汇，但我们可以从中体会到“只花300元”，表达说话人认为衣服是比较便宜的观点，基于深度学习的情感计算可以分析出说话人不仅认为衣服好看，还很便宜，这是和传统机器学习最大的不同。
“目前，有很多情感分析基于多模态融合的方法。”李斌阳说，以前我们探讨的情感分析多指文本中的情感分析，现在的情感分析是多维度的，如文字+图片+表情+颜文字的综合分析，文本+语音+图像的综合，即多模态情感分析，是目前来说比较前沿的情感分析研究方向。
杨昌源也认为现在多模态情感分析是发展的主流方向。他介绍，每个模块所传达的人类情感的信息量大小和维度不同。在人机交互中，不同的维度还存在缺失和不完善的问题。因此，人机交互中情感分析应尽可能从多个维度入手，将单一不完善的情感通道补上，最后通过多结果拟合来判断情感倾向。除了上面提到的文字、图像模态等，目前对于脑电波、皮电信号、心率等情感信息通道的研究也是新兴研究方向。
新零售、自动驾驶应用效果初现
发展近20年，目前情感计算已经应用在生活中的多个场景。如我们最传统的商品评价分析、民意调查，以及应用程序中的推荐功能。杨昌源介绍，在未来情感计算用于流媒體用户的情感分析或是一个发展方向。如在一段长视频中，用户对于某类物品的喜好操作等，可能成为精准推荐的参考。而在线下新零售中，店员也可以通过情感分析对于消费者的购物行为有一定把握。
在驾驶领域，情感计算也正应用其中。杨昌源介绍，如我们可以通过对于驾驶者微表情，以及一些生理信号的捕捉，来判断一个人的疲劳程度，从而避免交通事故的发生。MIT媒体实验室数据显示，在识别表情方面，计算机已经可以超越人类，对于真笑和苦笑的一样实验中，机器学习的成功率是92%，大幅优于人类。
此外知识图谱的引入也让人工智能更懂你。知识图谱如同人工智能的知识库，如aliwood的下一步也计划通过构建短视频知识图谱的方式将人类的知识结构化、系统化，并赋能给Aliwood，来帮助AI短视频的生成。
尽管情感计算已经深入生活，而要让机器人更加懂你却并非易事。李斌阳说，当我们追溯情感发生的本源时，我们还并不能完全清楚它的发生机制，就像钱包丢了，我们能够感受到情绪，但它的发生机制是什么，这还需要从认知学、心理学等进行探索。杨昌源介绍，目前实验室也将如何让人和机器的交互、机器和机器的交互更积极、更聪明作为一个长久目标，要实现这个目标还需要多个学科共同努力。翟冬冬