基于深度学习的多模态聚类研究

来源 :大连理工大学 | 被引量 : 1次 | 上传用户:mgqzhineng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多模态聚类的目的是通过挖掘并融合多个模态的一致性和互补性信息来完成数据分组,已经引发了多方面多角度的探索。例如引入神经网络解决了数据特征提取的问题和使用成对约束或自监督学习等方法来指导多模态聚类。与此同时,针对多模态数据中部分实例缺失的情况,不完全多模态聚类的课题也被广泛研究,得到快速发展。尽管多模态聚类研究已经取得很大的突破,但仍存在一些问题有待解决。本文从三个角度入手,对深度多模态聚类进行研究。一是针对特征提取过程中忽略模态唯一性特征辅助共性特征提取的问题,采用同时提取模态共性和唯一性特征并通过交叉重构的方法,达到了优化模态共性特征的效果。二是针对成对约束的采集会导致资源消耗的问题,通过利用多模态数据之间的一致性信息收集成对约束和设计约束传播网络来优化约束传播过程的方法,达到了提升聚类性能的效果。三是针对不完全多模态聚类研究未尝试挖掘数据的分布特征来把握数据整体信息的问题,在假设数据属于高斯分布的前提下,采用变分自编码器提取数据分布和利用分布特性自然地完成模态融合的方法,达到了提升聚类性能的效果。本文的主要贡献为:(1)基于深度共性与唯一性知识挖掘多模态聚类算法。首先,使用自编码器提取每一个模态数据的模态共性知识和模态唯一性知识。其次,利用交叉重构建立模态之间的潜在联系,包括最小化各模态共性知识的一致性和最大化各模态唯一性知识的差异性。最后,完成模态共性特征的融合操作。实验结果表明,算法提升了聚类效果。(2)基于自监督学习的深度多模态谱聚类。首先,使用自编码器和融合网络提取多模态融合特征以及通过Cholesky分解得到融合特征的正交表示用于构建正交融合特征的亲和矩阵。其次,利用多模态数据之间具有一致性特性筛选出高可信的成对约束。进一步地,将成对约束通过成对约束传播网络进行传播扩散。最后,使用扩散后的成对约束优化正交融合特征的亲和矩阵。实验结果表明,算法提升了聚类性能。(3)基于概率分布特性的深度不完全多模态聚类。首先使用变分自编码器学习模态的均值和方差等概率分布信息。其次,利用高斯分布的特性,结合不完全多模态数据的结构特征,有选择地计算多个高斯分布乘积自然整合不同模态的概率分布,完成模态特征融合。进一步地,通过重参数的方法完成融合概率分布的采样工作。最后,引入聚类层获取聚类结果。实验结果表明,该算法提升了聚类效果。
其他文献
近年来,随着物联网飞速发展和各种传感设备广泛普及,移动众包(Mobile Crowdsourcing,MCS)已经成为收集感知数据和提供服务的新兴范例。与传统众包的区别在于,MCS要求众包工人实际移动到特定地点来收集和上传感知数据。在移动众包系统中,需要制定高效的工人招募机制,激励用户积极主动地参与感知,提供高质量服务。本文主要针对移动众包中多目标工人招募机制进行研究。多目标优化问题在移动众包中具
学位
如今,网络数据信息量的日益增多以及大数据技术的发展,给推荐系统带来了发展机遇与挑战,基于模型的协同过滤算法成为推荐系统中主流算法之一。基于模型的协同过滤算法主要通过机器学习和数据挖掘的思想来建模解决,其中,矩阵分解FunkSVD算法原理简单,效果好,将基于模型的协同过滤算法推到一个新高度。然而,面对大数据计算时,数据稀疏和迭代振荡往往会影响FunkSVD算法的准确率。并且,在数据量以GB以上为单位
学位
车载自组网是实现智能交通系统,提高道路安全和提升交通效率的重要手段之一。目前车辆通信的两种关键技术包括DSRC(Dedicated Short-Range Communication)和LTE(Long Term Evolution),基于IEEE 802.11p的DSRC经过了20年的深入研究,已经达到了足够的技术成熟度,但其性能的提升空间较为有限。LTE是相对较新的基于第三代合作伙伴计划(3G
学位
在技术中介化的日常生活中,“人-机混合的赛博格”已经成为新的社会现实。人与技术的界限很难区分,自然/人工、精神/身体、物质/非物质等许多过去适用于人/机器的区别变得极其不清晰;家庭、工作场所、公共场所和身体本身彼此之间分散和交互,公共/私人生活的边界日渐模糊;具有等级关系的传统二分法在意识形态上受到质疑。这种介于二者之间的、非此非彼的流动状态或过程,可称为“阈限现象”。在网络城市空间中,“阈限性”
学位
高桩码头因为构造简单、可承受较大荷载、对波浪的减弱效果好,并且适用于沿海地区分布较广的软土地基,在我国港口工程中已应用相当广泛。然而,在历次破坏性地震中,沿海港口地区由于工程地质条件原因,容易出现液化侧扩流现象,造成大量的高桩码头破坏。因此,针对液化侧扩流场地桩基的抗震研究已成为岩土抗震领域的一项关键问题,为了提高我国建筑物的抗震能力和减轻地震损失,有必要对该问题进行深入研究。本文以液化侧扩流场地
学位
混凝土耐久性研究在混凝土结构领域一直热点不断,硫酸盐侵蚀是影响混凝土的主要耐久性能因素之一,而荷载和碳化作用的影响也不容忽视。本课题组于2019年11月受邀加入国际材料与结构研究实验联合会RILEM TC 281-CCC WG4技术委员会,参与一项由中国建筑材料科学研究总院CBMA负责的研究荷载与碳化耦合作用下混凝土耐久性能的试验。该试验由国内和国际多个院校与组织同时进行,并定期召开国际会议,交流
学位
随着生活中的信息数据量不断增长,获取完整有效的数据变得至关重要。但是由于现实世界中的网络存在各种各样的权限设置以及网络中个体的隐私保护需求,大多数从现实世界中收集到的静态网络数据是信息缺失的。然而,在不完整的静态网络中,仅仅基于部分已知的节点和边来恢复缺失的节点和边是非常具有挑战性的。针对现有的工作中存在推理精度差,适用性差,对网络拓扑结构利用不足,以及计算复杂度大等局限性,本文提出了循环注意力机
学位
通过应用程序编程接口(API)复用已有的软件框架或类库,极大地缩短了软件的开发周期,提高了相关从业人员的开发效率。但是由于软件经常会出现API误用的情况,API误用缺陷是软件bug的主要来源,API误用缺陷检测是保证软件质量重要的一环。与此同时,在真实工业场景下由于API调用的错综复杂,修复一个缺陷bug成本极高,API误用缺陷修复推荐能够帮助开发人员减轻工作负担,提升软件质量。正确的使用API需
学位
随着软件不断迭代发展,软件的结构会变得混乱,系统维护难度也随之增加,软件质量也会受到一定影响,软件维护成本随之增加。对于大型复杂软件系统,采用人工的方式对其进行重构难度过高,并且很难保证重构解决方案具有通用性。自动化重构可以降低软件维护成本且具有一定的通用性,其中基于搜索的软件重构方法是解决该问题最典型的方法之一。其中目标的选择对搜索过程起决定性作用,质量目标与非质量目标都是开发人员在重构时通常会
学位
随着无线电力传输技术(Wireless Power Transfer,WPT)的出现,能量发射器和接收器之间的电力传输方式突破原有限制,由原先的有线方式逐渐过渡到无线方式进行,进而产生了无线充电传感器网络(Wireless Rechargeable Sensor Networks,WRSN)的新型传感器网络架构。目前传统的WRSN领域工作主要集中在最大化网络寿命、优化充电效率和优化充电质量方面,而
学位