基于点割集的通用流处理加速研究

来源 :河南工业大学 | 被引量 : 0次 | 上传用户:venly
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
流处理问题是图论中一类基础性问题,其求解算法在通信相关研究中有着重要的应用,城市交通的货物运输、快递物流的分派、最优路由、网络漏洞分析和网络服务调度等问题都可以转化为流处理问题进行研究;除此之外,流处理问题在大数据、图像处理以及应用数学的相关科学领域中都有着广泛的应用,这些领域的不断发展导致问题场景发生变化,因此相关算法需要不断的优化并深入研究。迄今为止,使用单机求解流处理问题的理论体系也逐步完善,学术界各领域有许多专家学者就流处理问题提出了大量优化方法。虽然目前流处理算法在图计算领域已经得到了一定的发展,但当网络图顶点个数达到较大规模时,仍然会存在计算结果准确率偏低、效率低下以及内存占用过高等问题。针对上述问题,本文针对流处理中具有通用性的最大流问题,提出了基于点割集的通用流处理加速算法。由于在任何网络中,最大流的值都等于最小割的容量,因此可从最小割的角度研究最大流的求解。基于遍历树生成点割集用于求解加速,并在单机和并行框架中验证算法的效果,本文主要研究内容如下:(1)研究基于点割集的预处理算法。所有遍历树的集合到所有割集都有映射。然而,这种映射在现有的方法中被完全忽略,这可能导致加速机会的丧失。因此,本文提出了基于遍历树生成点割集的方法进行预处理。创新性地选取由点割集到最小割值映射的角度,获取对偶问题最大流的值。算法原始步骤中已隐含独立子算法,非常适合后期扩展至并行计算环节。实验表明该方法不仅可有效提高后续的计算速度,完成对最大流求解过程的首次加速。还具有足够的通用性,不依赖于任何特殊的拓扑结构,可以在各种图结构中实现高加速度比和精度。(2)研究基于内嵌点割集预处理图的最大流加速算法。该方法通过在无向图中从不同的遍历树收集足够的割集,可以计算出任意节点对之间的最小割值上界为所有相关割集的最小值,再将精确的最小割值与高概率匹配。计算时根据原图与遍历树之间的映射关系仅将源汇点在目标遍历树中唯一路径上的顶点载入内存并参与计算,这样可有效缩减原始网络图的规模并减少计算中迭代次数从而实现加速效果。(3)研究基于GraphChi框架并行计算加速方法。由于源点不同,生成树也有所不同,结果可能存在差异,为保证实验准确性需在不同的遍历树中收集足够的割集进行计算。此过程可使用GraphChi框架将最小割计算步骤并行处理。实验选取六组数据集对基于GraphChi框架并行计算加速方法和基于内嵌点割集预处理图的最大流加速算法的计算时间进行了对比,基于GraphChi框架并行计算加速方法的速度明显较快。通过本次实验表明,该方法可有效的提高最大流求解过程的时间效率,完成该算法的二次加速。
其他文献
糖尿病视网膜病变(Diabetic Retinopathy,DR)是常见的糖尿病并发症之一,具有不可逆、致盲性高、进程隐蔽等特点。若不及时治疗,将严重影响患者的生活质量。为解决人工诊断主观性强、效率低等问题,业界提出使用深度学习技术进行DR诊断。调查发现,医学图像涉及隐私和伦理问题通常难以获取,易造成模型过拟合;另外,目前基于深度学习的DR诊断仍以卷积神经网络为主,无法有效提取眼底图像细节特征,诊
学位
车间生产调度是智能制造领域中的重要问题,优化调度可以提高生产效率,减少资源浪费。在实际生产过程中,往往因不确定因素导致调度的不确定。同时,在当前全球合作化生产模式的背景下,对分布式流水车间调度问题的研究更具有现实意义。此类不确定环境下分布式流水车间调度问题的复杂度高,现有的智能算法难以求解出理想的调度方案。本文提出不同的混合策略来改进智能算法,设计混合智能算法来解决不确定环境下分布式流水车间调度问
学位
随着大数据时代的到来,云平台备受青睐。然而,云平台在为海量数据提供强大的存储、计算等服务的同时,也面临着严重的数据安全和用户隐私问题。为保护云数据的安全,用户上传的通常是加密后的数据。因此,如何对密文数据进行高效检索成为了巨大挑战。可搜索公钥加密技术为解决云平台中的密文数据检索问题提供了有效的方法。目前,已有许多可搜索公钥加密方案被提出。然而,现有方案多数存在证书管理或密钥托管问题,同时在安全性或
学位
广播式自动相关监视(Automatic Dependent Surveillance-Broadcast,ADS-B)技术是新一代航行系统中非常重要的通信和监视技术,有助于空中交通管制员和飞行机组实时共享空中交通运行态势,提升航空安全运行水平、空域容量与运行效率。然而由于外界不确定因素,易造成机场航班ADS-B信号丢失,严重影响航空飞行安全。针对这种现象,本文基于深度学习目标检测网络模型和图像目标
学位
联邦学习是在不共享客户端数据前提下,通过所有客户端与服务器之间的多次交互建立联邦模型的机器学习方法。由于联邦学习支持客户端在不交换原始数据的条件下联合训练模型,因此成为图像分类领域的研究热点。本文主要针对现有集中式联邦学习存在的问题展开研究,主要研究内容如下:1、针对集中式联邦学习所存在的客户端模型精度低和通信成本高的问题,提出基于模型参数异步更新的个性化联邦学习方法。引入距离度量函数,建立共性个
学位
基于单相机的近景工业摄影测量技术是一种非接触式测量方法,其利用单相机对空间中三维物体的多个位姿进行拍摄,进而通过数字图像处理和摄影测量技术,计算出待测物体表面关键特征点的三维坐标。本文从以下几个方面开展单目移动式三维测量技术的研究。由于工业场景中物体的特征点直接检测效果不佳,需要借助一种具有唯一身份信息的编码标记点,通过将标记点粘贴在待测三维物体关键特征点上,来实现物体关键特征点的匹配。针对此问题
学位
随着我国制造业的飞速发展,对于工件所需复合功能非常突出,导致工件轮廓外形愈发复杂加工精度要求更高。在工件质量检测中,传统的工件轮廓测量方式效率低、成本高,而常规的基于图像的测量方法又存在测量精度低和稳定性差等问题,如何对工件轮廓进行快速、高精度测量就成为高质量加工的瓶颈问题。本文采用基于机器视觉的摄影几何尺寸测量技术对工件双轮廓外形线间距离和夹角的精密检测展开了研究,包括角点与边缘提取、亚像素定位
学位
小麦,作为世界第二大粮食作物,不仅含有丰富的营养物质,且为人们赖以生存的基本物质和工业原料,其品质问题关乎国际民生。在小麦收购与市场流通环节,不完善粒是品质定级的限制指标,且是增扣量的依据。在各大粮库、加工厂及质检中心,不完善粒检测仍主要为人工检测,极易出现定级误差、串通舞弊、制约收购进度等问题。在计算机视觉方法中,通常依赖昂贵的图像采集、分离设备,且传统机器视觉方法识别率较低,无法满足品质的准确
学位
软件缺陷修复是软件工程领域的关键问题,是软件测试与维护中耗费成本最高的活动。软件缺陷自动修复技术能够有效降低缺陷修复的成本,是近年来学术研究的热点问题。本文研究基于深度学习的软件缺陷自动修复技术,将基于深度学习的机器翻译技术即神经机器翻译技术应用于软件缺陷自动修复问题中,通过端到端补丁生成模型自动生成候选补丁。这类软件缺陷自动修复技术的研究工作少之又少,且普遍修复缺陷成功率和效率较低。针对上述问题
学位
视频结构化是计算机视觉和安防领域研究的重点和热点之一,其能够从海量视频中快速提取目标信息,在实际任务中得到广泛应用。目前视频结构化技术在电力行业安全生产领域违章识别任务中初露锋芒,有效解决了变电站作业违章人工检测困难的问题,进一步加速推进电力行业走向智能化时代。因此,本文旨在利用基于视频结构化的目标识别方法基本理论,搭建快速、高效的识别网络,以实现对变电站场景下多发常规违章的高效识别,进而保证变电
学位