公平聚类算法研究

来源 :西南科技大学 | 被引量 : 0次 | 上传用户:totti_sqh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
聚类算法是机器学习中最常见的无监督学习算法之一,在现代数据科学中发挥着重要的作用。传统聚类算法的主要任务是根据某些特定的规则将相似度高的数据对象划分到相同的簇。当数据对象的某些属性(例如性别,种族等)需要在每个簇中保持平衡时,传统的聚类算法不再适用,这种聚类任务被称为公平聚类。尽管机器学习界近些年在算法公平性问题上做了大量的研究工作,但是对于聚类算法公平性的认识仍处于起步阶段。针对当前公平聚类研究中存在的聚类方法单一,公平聚类算法性较差及不能在多个敏感属性条件下工作问题,本文开展了以下三个方面的研究工作:1)模糊C-均值(Fuzzy C-Means,FCM)聚类是一种经典的聚类算法,在现实世界中得到了广泛的应用。虽然FCM算法具有许多明显的优势,但在FCM中使用公平性约束能否提高聚类公平性仍然是个尚未解决的问题。通过在目标函数中引入一个新颖的公平损失函数,提出了一种公平模糊C-均值算法。证明了在目标函数的优化过程中,隶属度同时受到相似度函数和公平性函数的约束。通过研究具有公平约束的模糊C均值聚类问题,模糊聚类首次被引入到公平机器学习的研究领域,填补了公平模糊聚类的研究空白。2)鉴于谱聚类算法的广泛流行,本文研究了谱聚类中的算法公平性问题。本文将公平问题视为一种约束问题,从而将公平谱聚类转化为约束谱聚类。通过KKT条件求解约束谱聚类的可行解集,本文提出了一种非规范化公平谱聚类方法。在多个真实数据集上的实验结果表明非规范化公平谱聚类方法比其他对比方法生成的聚类结果更加公平。3)针对现有的公平谱聚类方法只能在单个敏感属性条件下工作的问题,提出一种多敏感属性公平谱聚类方法。首先,松弛后的公平定义被形式化为约束矩阵,从而将公平谱聚类转化为约束谱聚类问题。然后,根据分块矩阵的性质,将多敏感属性问题转化为单个敏感属性公平聚类问题。最后,通过求解约束矩阵零空间的基来找到目标函数的最优解,实现了适用于多个敏感属性聚类的公平谱聚类方法。在多个真实数据集上的实验表明,本文所提出的FFCM方法,UFSC方法以及MFSC方法提升了聚类结果的公平性,并且MFSC方法能够在多个敏感属性条件下实现公平聚类。
其他文献
人群计数旨在估计出视频或图像中的人数,在公共安全预防、产品投放等方面有着广泛应用。随着深度学习的发展,使用卷积神经网络对人群计数进行研究可以有效提升人群计数的准确度。然而在现实生活的复杂场景中,人群计数算法面临着许多挑战,如人群的尺度变化、复杂背景等。捕获多尺度特征并减弱背景干扰是降低人群计数误差的关键。因此,本文在详细分析基于深度学习的人群计数算法的基础上,对人群计数算法中的网络结构与损失函数部
学位
交通轨迹是交通工具在时间区间内的空间移动路径,反应交通工具的时空特征。探索交通轨迹数据是分析轨迹数据特征的重要步骤。交通轨迹数据是一种时空数据,具有数据量大、时间跨度长的特点,这使得现有的交通轨迹数据探索方法技术门槛高。交通的随机性使得交通轨迹充满不确定性,这将不利于交通轨迹数据的进一步利用。可视化通过直观的视觉通道传达交通轨迹信息,具有直观高效的特点。因此,通过可视化研究交通轨迹不确定性相关问题
学位
图像生成指计算机通过人工智能领域的相关算法,自主产生和真实图片相近的生成图片。其在计算机视觉领域有着重要的地位,主要用于计算机辅助设计、图像编辑、艺术设计、信息转换等领域。然而,目前多数生成图像的实际使用并不普遍,这主要是因为生成图像的质量较低,与真实图片比有较大的差距,特别是在复杂图片的生成任务中,这个缺陷会进一步放大,这使得生成图片难以投入实际的使用。为了进一步提升生成图片的质量,一套合理的质
学位
图像修复是指将图像缺失内容进行重建的一个过程,其主要手段是通过退化图像中还能够获取到的语义信息、纹理信息、结构信息等进行缺失区域的语义预测、纹理预测、结构预测。最后使填充的结果与图像未丢失部分保持相同的风格,连贯的内容。并且,修复结果需要人眼看起来真实,自然。传统的图像修复方法在解决一些简单的小面积缺失区域图像时,修复结果尚可,但是由于其本身的限制,在修复复杂图像、大面积缺失图像时,往往得不到令人
学位
随着基建技术的发展,越来越多的大型构筑物被投入使用,并且伴随着使用年限的增长及使用过程中的疲劳使用和自然灾害等一系列因素,造成构筑物表面或多或少的会出现一些损伤,传统检测手段往往是利用人工完成,对工人的人身安全有着极大的考验,并且还存在部分大型构筑物的巡检部位人工很难到达,因此现代化、智能化检测方式的需求变得日益迫切。本文以数字图象为基础,研究构筑物表面损伤检测技术,利用深度学习方法实现构筑物表面
学位
近年来,深度学习技术的快速发展为图像处理带来了新的机遇,特别是在图像分割、图像识别、图像理解等方面。图像分割是将图像中边缘、区域等特征提取出来,支撑图像处理下游任务,在学术界和工业界受到广泛关注。全景分割融合了图像分割的语义分割与实例分割结果,在图像深入理解场景,如视频监控、自动驾驶、医学图像诊断等发挥了重要作用。全景分割完成对图中的所有物体的背景进行检测与分割,主要分为特征提取、语义与实例分割、
学位
图表示学习将图中节点从高维、稀疏的网络空间映射到低维、稠密的向量空间,映射过程中保持原始的网络结构并支持图推理。通过图嵌入得到的向量规范性更强,可直接作为下游如节点分类、链接预测或可视化等机器学习任务的输入。图表示学习在链接预测任务上效果良好,但在节点分类任务中表现不佳,这是由于节点类别通常与领域内节点的拓扑结构、重要性特征、属性特征及其类别标签信息密切相关。针对节点分类的图表示学习做了如下研究:
学位
开放关系抽取能在不预设关系词表的情况下,对语料进行灵活的关系抽取,快速对知识进行有效的组织、整理。然而开放关系抽取的语料通常包含大量结构复杂的文本。现有的开放关系抽取方法在抽取这类复杂文本时,效果较差,主要存在如下问题。一是句子结构复杂,难以分析出准确的句法分析结果为开放关系抽取提供数据支持。二是复杂文本中的实体词通常是由多个词语构成的名词短语,识别难度较大。三是复杂文本存在关系重叠的现象,以往的
学位
自从进入21世纪以来,全球变暖一直是人们讨论的热门话题,全球年均气温在十年间仅仅上升0.03℃,正是这个极小数据的出现,使人们对“全球变暖”持怀疑态度。研究全球温度变化需要有长时间的观测数据做支撑,目前主要存在如下问题:一是气候数据搜集面临数据体量大,质量低,技术、勘测等种种困难;二是影响气候属性成分越来越复杂,现有模型难以准确预测气候变化;三是极端天气气温相对整体平均温度差别较大,处理困难,对全
学位
目前大量涉及自动驾驶汽车的事故,表明自动驾驶系统软件仍然存在严重的可靠性和安全性问题,对其进行充分有效的测试具有重要的研究意义。对现有自动驾驶系统测试方法的调研发现,很多测试方法并没有完全覆盖真实的驾驶场景,同时合成测试场景图像质量也有待提高。为此,本文利用深度学习技术合成接近真实的复杂场景图像,应用蜕变测试检测被测试自动驾驶系统的潜在缺陷,以达到有效保障自动驾驶系统软件质量的目标。本文的主要研究
学位