图像人脸替换及其在孤独症干预系统中的应用

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:kunhodde
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像人脸替换,即把目标图像中的人脸替换为源图像中的人脸,而保持目标图像中人脸的面部表情和头部姿态等信息不变的过程。图像换脸可以被应用到许多领域,比如影视、商业、隐私保护、儿童孤独症治疗。随着深度学习和计算机视觉领域的发展,图像人脸替换已经取得了相当程度上的进展。但是当前方法仍然存在图像纹理处理的不够好、训练过程不稳定、训练要求高等问题。针对这些问题,本论文提出了一种基于生成对抗网络的图像换脸算法,并将其应用到了儿童孤独症干预系统之中。本文的主要工作总结如下:(1)本文提出了 一种融合判别器约束和频域损失的图像换脸算法。针对基于生成对抗网络的图像换脸算法存在的训练过程不稳定和训练要求高等问题,本文引入了判别器约束技术,从而增加了训练稳定性,减少了训练要求。但是引入判别器约束技术也降低了判别器的判别能力,从而导致模型生成的换脸结果中来自源图像的身份信息不明显,因此本文又使用频域损失生成器生成的换脸图像进行了约束,解决了该问题。最后本文通过调整生成器当中的融合层改善了身份信息和属性信息的融合效果,改善了模型生成换脸图像的肤色和轮廓等纹理问题。相比之前的工作,本文所提出的换脸算法在不造成换脸效果变差的同时降低了 80%的训练计算量。(2)针对儿童人脸相似度更高和五官更加明显的特点,本文增加了所提出的图像换脸算法的训练损失中身份损失和属性损失的权重。同时由于使用了成人数据集上训练好的模型作为预训练模型,本文降低了训练损失中的频域损失权重。经过调整后在儿童数据集上训练得到的模型可以得到更好的儿童换脸图像。(3)设计了基于图像换脸的孤独症儿童干预系统。基于破镜理论,孤独症儿童在进行模仿学习等方面存在障碍。通过将干预视频中的人脸替换为需要被干预的孤独症儿童的人脸,可以让他们把干预视频中的人当成自己,规避破镜缺陷,从而增加干预效果。本文通过结合判别器约束技术和频域损失提高了模型训练的稳定性,降低了训练设备要求和训练时间,并将其迁移到了儿童图像换脸领域。之后考虑到孤独症儿童在模仿学习方面存在的问题,基于儿童图像换脸模型设计了相应的干预系统。
其他文献
二氧化碳排放的会计核算是较为典型的“市场先行、准则后发”,从十二五的试点先行、十三五为全国碳市场打基础、十四五里程碑式的“碳达峰”和“碳中和”的目标,碳排放已经过了10余年的快速发展;与之不相匹配的却是会计处理规定的“踟躅不前”:国外方面,国际会计准则理事会(IASB)和财务会计准则委员会(FASB)联合对此问题研究多年,至今仅形成关于碳排放权确认及计量的“联合会议共识”;国内方面,自2016年财
学位
自深交所和上交所成立以来,我国上市公司数量已突破4000家。中国的经济取得快速发展的同时也面临诸多挑战,前有银广夏、昆明机床事件,后有国药控股、金亚科技、圣莱达事件,类似的财务舞弊现象层出不穷。在2019年,国内资本市场可谓是变局频出,獐子岛、康美药业、东旭光电财务造假被查,长生生物被深交所下发“重大违法强制退市的决定”,这些重大典型事件不但损害了投资者的权益,也干扰了经济秩序,影响证券市场的发展
学位
移动终端的普及和数字化学习技术的发展,催生了在线学习这一新兴学习方式。大规模在线学习平台以其开放、线上和多元化的优势,打破了时空限制,重塑了传统教学模式。但由于缺少教师及时有效地指导,在线学习者往往被淹没在海量的知识中,无法找到符合自身需求的在线课程,出现信息超载等问题。近年来,研究者开始使用推荐技术来解决信息超载问题,该技术试图从海量在线课程资源中筛选出符合学习者个体特征的内容,从而实现个性化课
学位
多模态对话情绪分析旨在从一段对话中分析目标话语的情绪状态,在对目标话语进行情绪分析时不仅需要利用语音、文本、视觉多个模态的信息,还需要考虑目标话语所处的上下文语境。这些可以为情绪分析提供一个全局的视角。让智能设备能够感知人们对话中的情感,在人机交互、意见挖掘等领域有着十分重要的研究意义以及广阔的应用前景。在目前的对话情绪分析的研究中,大部分工作主要从自我情绪惯性和他人的影响两个方面来考虑对话中的情
学位
<正>近年来,江苏省常州市以法治教育为突破口,以"5"彩法治大课堂为品牌,开展中小学法治教育一体化建设,初步实现了五个"一体化"。一是教育内容一体化。系统开展红色宪法教育、蓝色民法教育、黑色刑法教育、黄色行政法教育、绿色成长教育。常州市教育科学研究院成立中小学法治教育课程指导中心,举行法治教育培训活动38次,采取主题培训、学术沙龙、参与式研讨、研究课展示、成果展评等多种形式,不断提升师生的法治素养
期刊
活动断层是地震的根源,也是地震灾害的元凶,当城市及其周边区域存在活动断裂会给人民生命财产安全和城市建设与发展带来隐患。目前河南省较多省辖市所在城市均已开展活动断层探测工作,各城市间区域是活动断层研究程度比较薄弱的地方,致使地震安全基础探测工作出现不均衡发展。研究区位于河南省西部洛阳偃师市、焦作济源市和孟州市等市间区域,涉及的主要地质单元有济源盆地、洛阳盆地及两者间的邙山隆起,具有明显的盆岭构造轮廓
学位
近年来,随着4G网络的全面普及以及5G网络的迅速发展,人们的日常生活与移动智能手机捆绑得越来越紧密,我们每天的生活都在各个App中周转,产生了难以计量的数据,在这其中,大学生群体是移动社交媒体重要的用户群体,但随之而来的就是各个移动社交平台对于用户信息的肆意窃取和盗用,信息泄露的情况时有发生,让使用移动社交网络的用户产生了焦虑。为了响应国家对于个人信息安全的保护政策、贯彻落实个人信息安全保护相关法
学位
信息资源已经成为各个行业当之无愧的战略资源,数据资源也已经成为真正意义上的互联网行业的“石油”资源。然而随着信息量的日益增长以及数据库在各行各业中的广泛应用,当下人们需要一种更为直接,高效,灵活的数据库检索方式,其中基于自然语言接口的数据库问答系统成为了该问题的“有效解”。NL2SQL作为一种面向关系型数据库的问答技术,在最近几年里随着WikiSQL,Spider,CSpider,DuSQL等Te
学位
少年儿童是祖国未来的希望,阅读对少年儿童的发展起着重要的作用。随着社会经济和人民生活水平的提高,少年儿童的阅读教育受到社会广泛的重视。注重对不同年龄段少年儿童的阅读能力发展以及身心的健康成长,成为国家重点关注的话题。在这一背景下,分级阅读作为世界性的阅读趋势,引起了人们的关注。少年儿童图书馆作为公共图书馆,有着丰富的儿童馆藏以及优良的阅读环境,向少年儿童提供阅读服务时存在诸多优势,是儿童阅读推广的
学位
面部表情在人们的日常交往中有着重要的作用,它直接传递了人们的情感。随着计算机科学技术的发展,自动化人脸表情分析成了一项受到越来越多关注的研究课题。面部表情分析也在人机交互和情感计算领域有着丰富的应用场景,如智能教育、医疗监控、数字营销、犯罪侦察等。通常来说,面部表情分析包括人脸表情识别和表情强度估计两项任务。现如今的人脸表情研究大多只关注于表情识别,即将表情识别为高兴、愤怒、恐惧、悲伤、惊讶、厌恶
学位