论文部分内容阅读
研究背景
本项目源于初中时参加的全国青少年机器人竞赛，当时设计了聋哑智慧手套，帮助残疾儿童实现沟通和交互，在项目研究过程中与自闭患儿零距离的接触，看到了自闭症对儿童健康的威胁，心灵深處受到触动。于是在暑假期间，开始深入到合肥市康华残疾人康复中心、安徽省特殊中专学校等部门进行咨询与调研。通过发放问卷，结合专家访谈，进一步了解到自闭症儿童的现状，大多数家庭是在发现自闭症的显性症状后才开始寻医治疗，滞后医疗康复的概率较小，且高昂的费用让很多家庭负债累累。因此，本项目旨在通过对儿童自闭症早期潜在风险进行识别与预测，开发一种成本较低、操作方便、安全适用，能早期预测儿童自闭症的系统软件，实现自闭症儿童早识别、早治疗、早康复的目的。
研究思路
◇既往的赛事经历为本研究提供了研究思路与创意。
◇通过文献梳理与分析，系统回顾国内外关于自闭症的现状及研究动态。利用问卷调研和现场咨询采集相关数据，获取本研究所需要的数据资料。
◇在研究中期，邀请专家座谈，咨询专家的意见和建议，根据对专家意见的梳理，选取自闭症患儿的声音和表情2个关键特征指标，设计研究方法，确定了产品开发的路径。
目前国际通用的自闭症筛查量表ABC （Autism Behavior Checklist）中列出了57项自闭症儿童的行为特征，对应了57个选择题，包括感知能力、交往能力、运动能力、语言能力和自我照顾能力。通过分析ABC量表后，发现核心题目更适合使用计算机技术进行自动化测试。以量表中的第21题为例，使用者在回答题目时需要识别出被测试儿童的面部表情，已有的研究报告指出，在识别面部表情时，基于机器学习的识别技术比人工识别的准确率更高。基于此，本项目拟采用深度学习技术和web服务技术智能化量表中的第21题。
实现ABC量表测试的基本思路：首先进行ABC量表题目的电子化，将量表实现为本项目APP的其中一个模块;其次是分数统计的自动化，根据测试者的选项及项目的分值进行自动统计;最后是个别题目的智能化，选取可以用新兴计算技术实现的题目，进行重点突破。
在实现智能化时，首先利用深度学习技术训练表情识别模型;在获得满足精度需求的识别模型后，将之实现一个表情识别的web服务，供APP端调用并自动识别表情。具体地，表情数据集拟采用Google运营的Kaggle平台中发布的fer2013。此数据集由58 886张老年人、中年人、青年人、儿童、卡通表情图片组成，包含生气、厌恶、恐惧、开心、伤心、惊讶、中性7种表情。使用开源深度学习框架Tensorflow构建卷积神经网络进行训练。
此外，自闭症儿童多数不善言辞，或有语言障碍，与正常婴幼儿语言功能相比有鲜明的特征区别，这些特征在3岁之前就已经很明显了。本项目拟通过采集大量3岁以内低风险患儿、高风险患儿和正常儿语言和发音，建立情感计算大数据分析模型，根据婴幼儿语言或发声的声学特征与已有的模型进行模式匹配，根据匹配的结果预测自闭症风险系数。
◇在研究后期，对实验研究进行科学分析与归纳，整理汇编各类研究资料和重要文档，撰写项目总结，完善评估预测系统，形成研究成果。
产品设计
系统组成
系统采用互联网 模式，前台利用手机移动终端APP进行面部表情数据及语音信号数据采集，所采集的数据经互联网传送至后台云服务器进行数据分析，最后将检测结果传回手机移动终端。
系统的语音处理模块：婴幼儿语音或发声经过手机话筒进行声电变换，通过互联网导入后台评估预测系统。在后台，首先对婴幼儿语音或发声进行预加重和信号滤波等预处理，再利用MFCC技术进行声音特征提取。声音特征包括：语音的频率、时长、幅度，以及各种声音的其他线性系数及参数、Mel参数等。利用这些特征参数，与情感计算分析模型进行模式匹配对比，得出最终结论。
关键技术
◇ABC量表电子化
将国际通用的儿童自闭症行为ABC量表的57道判断题实现电子化，结合评判的数据得分，用户仅需通过APP选择的方式完成答题，即可快速得到评估结果。
◇核心甄别指标的智能化
利用基于深度学习的表情识别技术和智能语音技术实现了对ABC量表核心题甄别指标的智能化测试与判断，即语音与表情。ABC量表中存在主观判断，家长作为普通人一般无法正确回答，因此通过智能化手段实现量表的关键指标量化。语音采用讯飞技术和MFCC算法分析，形成语音模型;表情使用开源深度学习框架Tensorflow构建卷积神经网络进行训练，实现表情模型的构建。
◇特征提取和数据库建立
利用移动终端采集大量高风险、低风险和正常儿童的语音和表情信息，经手机初步信息处理，再由后台对语音和表情信息进行特征提取，进而分析、训练、学习，不断完善数据库，最终建立情感语音和表情数据库。
◇情感计算模型的建立
结合基于深度学习技术及开源表情库，建立表情识别模型和基于MFCC算法的新型语音表达模型，研究构建了一种新型的自闭症儿童复合情感计算模型。借助移动端对实时儿童表情图像和声音信息进行特征抽取，利用情感计算模型对表情和语音源进行算法分析，再通过与语音和表情数据库进行比对，最终评估并反馈儿童潜在自闭症风险高低，从而初步预测儿童早期自闭症风险状况。
程序设计
自闭症风险预测系统由APP前端应用模块和后台情感计算模块组成。APP前端应用模块包括：用户注册与登录、咨询与服务、关键语音采集、关键表情采集、ABC量表采集和ASD评估反馈。后台情感计算模块包括：语音识别与分析、表情识别与分析、语音表情模型、情感计算模型、ABC量表计算和系统管理。
创新性
◇研究思路与方法的创新。从儿童自闭症现状出发，引发深入探究儿童自闭症早期风险的动机，进而运用多学科交叉知识，凝聚团队力量开发一种简单方便、安全可靠、能走进家庭的儿童自闭症早期风险预测系统软件。
◇提出了新的研究视角。以自闭症早期风险评估预测的社会需求为切入点，以问卷调研和专家咨询的综合结果为依据，以情感计算及互联网 为技术手段，提出了一种基于情感计算的儿童自闭症早期风险预测的解决方案。
预期社会效益和研究展望
项目通过与部分医院合作，选取了100名正常儿童和20名确诊患儿作为数据库样本，经过测试与实验表明，系统使用便捷、安全性好，风险预测的准确率初步达到80%，具有良好的技术可行性、社会期望性和商业价值。
本项目团队在未来的研究中，将结合图像处理与情感计算等前沿技术，研究开发具有肢体动作、面部表情和行为特征等多模态的风险预测系统，进一步提高风险预测的准确率。
该项目获得第34届全国青少年科技创新大赛创新成果竞赛项目中学组行为和社会科学一等奖。
专家评语
该项目极有针对性地提出了基于情感计算的儿童自闭症早期风险预测的解决方案，融合了计算机科学、医学、社会学等多学科知识，具有鲜明的跨学科特征，且实践深度高，已申请相关专利，项目成果极具社会价值，后期发展前景广阔。
本项目源于初中时参加的全国青少年机器人竞赛，当时设计了聋哑智慧手套，帮助残疾儿童实现沟通和交互，在项目研究过程中与自闭患儿零距离的接触，看到了自闭症对儿童健康的威胁，心灵深處受到触动。于是在暑假期间，开始深入到合肥市康华残疾人康复中心、安徽省特殊中专学校等部门进行咨询与调研。通过发放问卷，结合专家访谈，进一步了解到自闭症儿童的现状，大多数家庭是在发现自闭症的显性症状后才开始寻医治疗，滞后医疗康复的概率较小，且高昂的费用让很多家庭负债累累。因此，本项目旨在通过对儿童自闭症早期潜在风险进行识别与预测，开发一种成本较低、操作方便、安全适用，能早期预测儿童自闭症的系统软件，实现自闭症儿童早识别、早治疗、早康复的目的。
研究思路
◇既往的赛事经历为本研究提供了研究思路与创意。
◇通过文献梳理与分析，系统回顾国内外关于自闭症的现状及研究动态。利用问卷调研和现场咨询采集相关数据，获取本研究所需要的数据资料。
◇在研究中期，邀请专家座谈，咨询专家的意见和建议，根据对专家意见的梳理，选取自闭症患儿的声音和表情2个关键特征指标，设计研究方法，确定了产品开发的路径。
目前国际通用的自闭症筛查量表ABC （Autism Behavior Checklist）中列出了57项自闭症儿童的行为特征，对应了57个选择题，包括感知能力、交往能力、运动能力、语言能力和自我照顾能力。通过分析ABC量表后，发现核心题目更适合使用计算机技术进行自动化测试。以量表中的第21题为例，使用者在回答题目时需要识别出被测试儿童的面部表情，已有的研究报告指出，在识别面部表情时，基于机器学习的识别技术比人工识别的准确率更高。基于此，本项目拟采用深度学习技术和web服务技术智能化量表中的第21题。
实现ABC量表测试的基本思路：首先进行ABC量表题目的电子化，将量表实现为本项目APP的其中一个模块;其次是分数统计的自动化，根据测试者的选项及项目的分值进行自动统计;最后是个别题目的智能化，选取可以用新兴计算技术实现的题目，进行重点突破。
在实现智能化时，首先利用深度学习技术训练表情识别模型;在获得满足精度需求的识别模型后，将之实现一个表情识别的web服务，供APP端调用并自动识别表情。具体地，表情数据集拟采用Google运营的Kaggle平台中发布的fer2013。此数据集由58 886张老年人、中年人、青年人、儿童、卡通表情图片组成，包含生气、厌恶、恐惧、开心、伤心、惊讶、中性7种表情。使用开源深度学习框架Tensorflow构建卷积神经网络进行训练。
此外，自闭症儿童多数不善言辞，或有语言障碍，与正常婴幼儿语言功能相比有鲜明的特征区别，这些特征在3岁之前就已经很明显了。本项目拟通过采集大量3岁以内低风险患儿、高风险患儿和正常儿语言和发音，建立情感计算大数据分析模型，根据婴幼儿语言或发声的声学特征与已有的模型进行模式匹配，根据匹配的结果预测自闭症风险系数。
◇在研究后期，对实验研究进行科学分析与归纳，整理汇编各类研究资料和重要文档，撰写项目总结，完善评估预测系统，形成研究成果。
产品设计
系统组成
系统采用互联网 模式，前台利用手机移动终端APP进行面部表情数据及语音信号数据采集，所采集的数据经互联网传送至后台云服务器进行数据分析，最后将检测结果传回手机移动终端。
系统的语音处理模块：婴幼儿语音或发声经过手机话筒进行声电变换，通过互联网导入后台评估预测系统。在后台，首先对婴幼儿语音或发声进行预加重和信号滤波等预处理，再利用MFCC技术进行声音特征提取。声音特征包括：语音的频率、时长、幅度，以及各种声音的其他线性系数及参数、Mel参数等。利用这些特征参数，与情感计算分析模型进行模式匹配对比，得出最终结论。
关键技术
◇ABC量表电子化
将国际通用的儿童自闭症行为ABC量表的57道判断题实现电子化，结合评判的数据得分，用户仅需通过APP选择的方式完成答题，即可快速得到评估结果。
◇核心甄别指标的智能化
利用基于深度学习的表情识别技术和智能语音技术实现了对ABC量表核心题甄别指标的智能化测试与判断，即语音与表情。ABC量表中存在主观判断，家长作为普通人一般无法正确回答，因此通过智能化手段实现量表的关键指标量化。语音采用讯飞技术和MFCC算法分析，形成语音模型;表情使用开源深度学习框架Tensorflow构建卷积神经网络进行训练，实现表情模型的构建。
◇特征提取和数据库建立
利用移动终端采集大量高风险、低风险和正常儿童的语音和表情信息，经手机初步信息处理，再由后台对语音和表情信息进行特征提取，进而分析、训练、学习，不断完善数据库，最终建立情感语音和表情数据库。
◇情感计算模型的建立
结合基于深度学习技术及开源表情库，建立表情识别模型和基于MFCC算法的新型语音表达模型，研究构建了一种新型的自闭症儿童复合情感计算模型。借助移动端对实时儿童表情图像和声音信息进行特征抽取，利用情感计算模型对表情和语音源进行算法分析，再通过与语音和表情数据库进行比对，最终评估并反馈儿童潜在自闭症风险高低，从而初步预测儿童早期自闭症风险状况。
程序设计
自闭症风险预测系统由APP前端应用模块和后台情感计算模块组成。APP前端应用模块包括：用户注册与登录、咨询与服务、关键语音采集、关键表情采集、ABC量表采集和ASD评估反馈。后台情感计算模块包括：语音识别与分析、表情识别与分析、语音表情模型、情感计算模型、ABC量表计算和系统管理。
创新性
◇研究思路与方法的创新。从儿童自闭症现状出发，引发深入探究儿童自闭症早期风险的动机，进而运用多学科交叉知识，凝聚团队力量开发一种简单方便、安全可靠、能走进家庭的儿童自闭症早期风险预测系统软件。
◇提出了新的研究视角。以自闭症早期风险评估预测的社会需求为切入点，以问卷调研和专家咨询的综合结果为依据，以情感计算及互联网 为技术手段，提出了一种基于情感计算的儿童自闭症早期风险预测的解决方案。
预期社会效益和研究展望
项目通过与部分医院合作，选取了100名正常儿童和20名确诊患儿作为数据库样本，经过测试与实验表明，系统使用便捷、安全性好，风险预测的准确率初步达到80%，具有良好的技术可行性、社会期望性和商业价值。
本项目团队在未来的研究中，将结合图像处理与情感计算等前沿技术，研究开发具有肢体动作、面部表情和行为特征等多模态的风险预测系统，进一步提高风险预测的准确率。
该项目获得第34届全国青少年科技创新大赛创新成果竞赛项目中学组行为和社会科学一等奖。
专家评语
该项目极有针对性地提出了基于情感计算的儿童自闭症早期风险预测的解决方案，融合了计算机科学、医学、社会学等多学科知识，具有鲜明的跨学科特征，且实践深度高，已申请相关专利，项目成果极具社会价值，后期发展前景广阔。