随着移动设备的智能化和普及化,随时随地的拍摄越来越成为多数人的日常习惯,特别是社交网络迅速发展,时时刻刻的分享自拍、展示自我、表达内心成为时尚,自拍逐渐成为一个全球的热门现象。由于每个人审美角度差异,对待发布的自拍照是否获得广泛欢迎,存在评价的偏向性,研究并提供一种满足大众评价标准的自动评价自拍算法,为广大自拍爱好者在自拍照发布前,提供评分,作为参考,避免盲目发布带来的可能负面影响。然而自拍照片中的人物表情丰富多样,受观察角度和审美差异影响,加之背景环境、光照、人物表情、摄像角度和是否被遮挡等多种因素影响,自拍照自动评价仍然具有挑战性问题。研究基于大众审美所标注的样本,采用数据驱动思路,探讨深度网络实现自拍照表示学习,建立有效的评价算法,具有理论和应用意义,不仅为解决自动评价算法提供解决方案,同时为对于无约束的表情状态分析提供了研究经验。为了提高对自拍图像评分的公正性和客观性,本文采用多人对自拍照片进行评分。基于人眼对图像局部更关注的视觉选择注意机制特点,本文研究并提出了局部增强的深度超限学习机(ML-ELM-ELSR)算法。该算法加强了重要局部区域对于识别的贡献。针对不同的任务,关注的重要局部区域是不同的,采用了常用局部提取方法:使用中心区域、使用算法检测关键区域。此基础上,本文特别研究了基于选择性搜索对于感兴趣区域的检测算法,将检测问题转化为高效二分类识别任务。实验表明局部增强的深度超限学习机在识别任务中在使用较短的训练时间获得较好的识别效果。本文的主要的研究工作和创新点如下:1、构建自拍图像数据集和建立图像评分标定系统。在自拍图像研究领域中,目前没有公共开源的自拍图像数据集。故而本文构建了自拍图像数据集。通过选取合适的网络爬虫框架,获取大量的自拍图像。进而需要对样本进行清洗、去重、筛选、归一化等预处理操作,获得了高质量的候选样本。此基础上,建立人工标定和基于半监督自动标定的系统,完成了标定自拍数据集的构建。2、研究基于选择性搜索的感兴趣区域检测算法。感兴趣区域检测主流的方法通过滑动窗口和穷举搜索的策略,对候选区域和目标区域进行特征比较。该方案具有计算量过大、耗时长、应用性不佳等显著的缺点。本文采用基于选择性搜索策略的感兴趣检测的方法是,将区域检测问题转化成二分类问题。通过图象分割算法生成候选区域,计算区域相似度,合并高相似度区域,生成相对更少的候选区域集合。这里,本文采用了基于多指标的区域相似度计算的区域合并策略。在此基础上,计算候选区域集合和标定感兴趣区域的重叠率,确定正负样本,训练感兴趣区域分类模型,并从待测试图像的候选区域识别出为感兴趣区域。3、提出基于局部加强的深度超限学习算法。超限学习机具有训练时间短,识别精度高等优点。深度学习机超限学习机能够逐层提取对象的抽象特征,具有更强的表示学习能力。在此基础上,本文提出了局部加强的改进方法,对自然人重要局部区域关注的认知模式进行建模,建立了一种基于数据驱动和知识指导的深度表示学习。通过提取重要的局部区域,加入输入层,利用超限学习机自编码器训练每一层网络结构,逐层堆叠建立局部加强深度超限学习机。在公共数据库实验表明,和主流ELM算法及卷积深度网络相比,所提出的局部加强深度超限学习机取得了更好的信息表示能力,提升分类效果,并取得更好的训练效率。4、基于深度超限学习机自拍图像自动评价应用。本文采用数据驱动的方法,通过多人评分的方式构建的描述符合大众审美认知的评分标定数据集。对比多种传统算法,使用深度超限学习机和所提出的局部加强深度超限学习机学习自拍照的符合公共审美的特征,发现高分自拍的图像共性,实现自拍图像自动评价,为用户提供自拍照评分参考。