【摘 要】
：
跨模态说话人标注旨在利用说话人的不同生物特征进行相互匹配和互标注,可广泛应用于各种人机交互场合。针对人脸和语音两种不同模态生物特征之间存在明显的“语义鸿沟”问题,
【机 构】
：
华侨大学计算机科学与技术学院,计算机视觉与模式识别厦门市重点实验室
【基金项目】
：
国家自然科学基金(61673185,61572205,61673186);福建省自然科学基金(2017J01112);华侨大学中青年创新人才培育项目(ZQN-309)~~
论文部分内容阅读
跨模态说话人标注旨在利用说话人的不同生物特征进行相互匹配和互标注,可广泛应用于各种人机交互场合。针对人脸和语音两种不同模态生物特征之间存在明显的“语义鸿沟”问题,该文提出一种结合有监督联合一致性自编码器的跨音视频说话人标注方法。首先分别利用卷积神经网络和深度信念网络分别对人脸图像和语音数据进行判别性特征提取,接着在联合自编码器模型的基础上,提出一种新的有监督跨模态神经网络模型,同时嵌入softmax回归模型以保证模态间和模态内样本的相似性,进而扩展为3种有监督一致性自编码器神经网络模型来挖掘音视频异构特征
其他文献
文章论述了计算机网络病毒的特点及危害性,提出了网络病毒的防治措施。对保护计算机信息的安全有一定的参考作用。
The article discusses the characteristics and harmful
三角鲂是浙江省钱塘江流域的重要土著经济鱼类,近年来其养殖规模和效益日益增长,但瓶颈制约因素正逐步显现,主要原因是三角鲂种质资源退化,同时野外再难采集到三角鲂原种资源
明清小说宝物叙事的常规艺术手法，有想象与夸张、构设悬念或补叙出身、类比与示现、铺叙与渲染等。宝物符号，构成明清小说宝物崇拜描写模式化的核心，而宝物的叙事模式，既是古代小
结合公路路基工程开挖施工技术要点及安全防护措施进行分析,对路基开挖技术进行分类,主要类型有:全断面开挖、分层开挖、横向开挖、混合开挖。此后详细介绍了铲运机工作开挖
规则空间模型是一种高效的知识结构诊断模型,但较高的规则空间构造代价阻碍了其在小规模、实时认知诊断中的应用.为了提高规则空间模型的可扩展性,提出使用近似子图生成理想
我理想中的语文课堂应力求生命化、诗意化,教学的着意点当如印度伟大诗人泰戈尔所期待的“传送生命的气息”。面对每一篇诗文,如同面对着一个个生命之魂,能感受到生命的脉搏
思与行两者是内容与形式、主观与客观、原则性与灵活性的统一,体现的是一种谋略与艺术,彰显的是人生智慧,思与行的相同、相融、相合,考虑行为思想,追求行为艺术,谋求行为至臻
对建国以来我国八次体育课程改革内容及特点进行系统地回顾与梳理,并将中外课程标准进行对比分析。通过认真地对过去体育教学实践中获得的经验、教训加以总结和反思,并在此基
在论述质量持续改进对于城市轨道交通工程项目重要性的基础上，对轨道交通工程质量持续改进效果评价因素和指标及现有评价方法进行了分析，结合城市轨道交通工程项目的特点，提出了
作为“传统的现代女人”，高校高学历女教师有着强烈的自我发展需求、主体意识和成就动机，但在沉重的学术压力面前她们更容易出现职业倦怠；作为“现代的传统女人”，未婚的高学历女