基于明星的视频人脸验证和聚类算法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:ysgmxh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网和移动智能设备的大量普及,在线视频业务流量也在逐年增长,成为互联网经济中重要的组成部分。其中,视频广告业务、视频推荐等应用大部分围绕用户兴趣展开。本研究依据视频中的主角明星效应,通过对视频中的明星人脸进行检测、验证和聚类等相关技术研究,以助力于围绕明星人物身份展开的,诸如基于内容的推荐与检索、电影演员表的自动确定和视频快速浏览与组织等应用技术。相比静态图像,视频图像中的人脸特征更加复杂,通常包括角度变动、光线、表情、遮挡、低分辨率等诸多问题,这也为视频人脸聚类带来了巨大的挑战。本研究着眼于流行剧集和电影所带来的明星效应,依托项目组内的基于明星识别的视频广告推荐系统,对视频中明星人脸的验证和聚类等相关问题的理论研究进行了广泛调研,实现了系统中人脸验证和聚类等关键模块,并取得了良好效果。具体地,论文主要工作包括视频人脸数据集的标定、验证及聚类算法研究。首先,从互联网上收集了103集美剧《生活大爆炸》的视频数据。以固定时间间隔抽取原始视频帧,建立原始图像集。之后利用人脸检测技术获得明星人脸,利用人脸关键点探测技术获取5个关键点位置信息,包括左右眼位置、鼻头位置、和两个嘴角位置,通过人工设定标准人脸作为人脸对齐的矫正基准,将探测到的人脸和标准人脸进行对齐。所有检测到的人脸将被对齐到预先设定好的标准人脸,并归一化到统一尺度(256?256)。同时,系统对给定演员列表中的明星人脸进行相同的预处理操作,从而构建出人脸验证步骤中的标准人脸比对集。在构建视频人脸数据集的过程中,提出了一种新的明星人脸验证机制,实现对检测到的人脸的自动清洗。通过设计有效的验证策略,过滤大量非主演明星的人脸图像,从而得到视频人脸数据集。对于视频人脸数据集,抽取了人脸图像的深度卷积神经网络VIPLFace Net模型表示特征。在聚类算法方面,提出了一种结合特征空间距离和视频帧时间距离的度量方法,并将这种新的距离度量方法运用到三种视频人脸聚类算法中,包括K均值聚类,谱聚类和基于密度的聚类算法。通过大量实验,验证了所提出的距离度量方法的可行性和有效性。
其他文献
随着三维扫描、图像处理以及标准CAD模型表达技术NURBS的迅速发展与广泛应用,通过三维扫描技术将获取到的高精度STL模型向通用CAD模型之间转换的需求更加突出。因此,提出研究
高速公路的建设拉近和密切了城市间的距离,打破了城乡间的隔阂,带动了沿线区域经济的发展,然而,高速公路规模的迅速扩张,导致了资本需求的急剧增加,除去政府资金配置后,高速公路企业的投资现金流无法覆盖所有投资,仍存在较大的资本缺口,加重了企业的债务负担,高速公路企业不能按时支付施工单位工程款的事件时有发生。为保证高速公路行业持续健康的发展,本文根据国家的相关政策和文件,着眼于高速公路企业,将债转股这一政
药物缓释材料是缓释体系的重要组成部分,可调控药物释放速度,提高药效,然而在制备过程中可能产生较大能耗,因此寻找可以负载药物、生物相容性好且制备能耗低的缓释材料成为研究热点。新疆特色植物——罗布麻具有天然抗菌性能,可制备成高长径比和高比表面积的纳米纤维素(CNF);沙棘提取物天然无毒,可以降低滥用抗生素而产生的耐药性,将两者通过乳液静电纺丝负载,制备高生物相容性且缓释效果优异的新型抗菌生物材料,为开
我国山地、高原面积广大,山区面积占到国土总面积的69%,因此山区道路成为我国道路交通系统的重要组成部分。而配备有传统自动变速器的车辆在坡道行驶时往往会在动力性、安全
聚乙烯(PE)管材近年来被广泛应用在市政给排水和城市燃气管道系统,而慢速裂纹增长(SCG)是PE管材发生脆性破坏的主要原因,若燃气管道破裂则会引起燃气泄漏会造成严重的人身危险和财产损失,故管材耐SCG性能是评判其能否长期使用的重要指标。目前,传统的SCG试验普遍存在试验时间过长问题,限制了对PE管材耐SCG性能的准确评价,降低了 PE管材的开发速度。对此,国外学者提出了快速评价方法-全切口蠕变试验
图结构具有很强的表达能力,现实世界中诸多实体以及实体之间的联系可以抽象成图中的顶点和边,通过分析图数据来挖掘有价值的信息,具有重要的现实意义。近几年来,图数据迅速增
我国自改革开放以来,城市化进程和经济得到的飞速发展,人民生活水平不断提高,对建筑的室内环境要求也越来越高,建筑业的能耗比例也随之增加。夏热冬冷区经济发达,人口密集,建筑资源消耗量大,尤其是新建和即有公共建筑,单位面积建筑耗电量是住宅建筑的10倍以上。因此降低夏热冬冷区公共建筑能耗,提升室内环境质量具有重要意义。而建筑的围护结构会直接影响建筑与周围环境的热量交换、自然通风、采光,进而影响建筑能耗。本
精准医学是医学领域中的全新模式,是融合了生物学、计算机科学、大数据等多项领域而形成的新兴领域,其将患者个体特症、生活环境等因素与各项生物技术相融合,利用基因检测等先进生物技术手段对个体实现精准诊断与治疗,并识别疾病遗传传播的风险,对未来疾病风险进行高效准确的评估,进而提升人类整体健康水平,节约社会医疗资源。本文在阐述了精准医学内涵、历史发展及其特征后,提出精准医学的主要应用领域为癌症诊断与治疗、临
CCD图像在采集、传送和转换的过程中,由于其设备的机械运动、系统内部电路以及器材材料等因素,会导致CCD图像染有噪声,从而会降低图像质量、增大实验误差,给实验后续深度处理造成影响。小波阈值去噪法是当前图像去噪的主要技术手段。但传统的软、硬阈值函数和传统的阈值估计规则都因为其自身所具有的一些局限性,已经不能够满足图像去噪领域的需求。例如:传统硬阈值函数在阈值处不连续而造成图像重构后出现Pseudo-
网络内容的增加造成了数据的过载,并创造了多样化的数据信息。大量的数据和各种各样的选择导致用户在决策方面的困惑。由于决策不善,某些信息可能会丢失和曲解。解决问题的办