【摘 要】
：
随机游走是分析大规模图数据的基础技术,为许多重要的图度量、排序和图嵌入算法奠定了基础,广泛应用于图数据分析和机器学习等领域。但是现有的通用图处理系统没有充分考虑随机游走应用的特征,采用基于迭代的I/O模型,限制了随机游走应用的效率。现有的随机游走专用图处理系统采用基于状态感知的I/O模型,没有考虑游走过程中的数据活跃状态和分区关联状态,仍然存在大量外存I/O和I/O利用率不高的问题。为了提高系统的
论文部分内容阅读
随机游走是分析大规模图数据的基础技术,为许多重要的图度量、排序和图嵌入算法奠定了基础,广泛应用于图数据分析和机器学习等领域。但是现有的通用图处理系统没有充分考虑随机游走应用的特征,采用基于迭代的I/O模型,限制了随机游走应用的效率。现有的随机游走专用图处理系统采用基于状态感知的I/O模型,没有考虑游走过程中的数据活跃状态和分区关联状态,仍然存在大量外存I/O和I/O利用率不高的问题。为了提高系统的I/O利用率,减少外存I/O次数,分析了随机游走过程中的数据活跃状态、分区关联状态对系统I/O性能的影响。（1）结合数据活跃状态,提出基于顶点活跃度的混合粒度图分区方法,对活跃数据采用粗粒度的分区,对不活跃的数据集采用细粒度的分区,减少对活跃数据的多次外存I/O,降低对不活跃数据的无效加载,从而提高I/O利用率;（2）根据分区关联状态,提出基于分区关联感知的图分区调度策略,加载与内存中分区关联关系最紧密的分区以充分利用内存中的其他分区数据,进一步提高I/O利用率,加快随机游走应用的执行速度。设计实现了面向随机游走的基于混合粒度分区关联感知的图处理系统MPAWalker。实验结果表明,在不同图数据集和随机游走算法测试下MPAWalker相比GraphWalker性能均有提升,系统的执行时间缩短了3.01%-69.98%,测试对比了MPAWalker和GraphWalker的I/O次数和I/O利用率,I/O次数平均降低了41.02%,I/O利用率最高提高了38.34%,有效的提高了系统的I/O性能。
其他文献
在研究生物体内复杂的生物反应时,可能会同时监测多种细胞或亚细胞结构的动态特性,比如分布、运动及相互作用等,而多色荧光成像技术是实现同时观察多个目标结构的重要手段。但多色荧光成像系统收集的荧光通常存在信号串扰,导致无法直接获得各种荧光团的信号强度,因此需要对串扰的信号进行光谱解混。此外,在进行多色成像时,为了获得高分辨率的图像,视场范围通常有限,而有限的视场范围难以观察到目标对象的整体,因此还需要使
随着物理、化学等基础学科和半导体微电子技术的发展,人类对于微纳米尺度世界的探索取得了前所未有的突破,最直观的体现是集成电路的不断成熟,但“摩尔定律”的发展已经接近瓶颈,传统硅集成电路的制备工艺由于工艺参数、制备温度等限制不适用于其他具有优异性质的半导体材料。为追求更小的尺寸以及更高效率的芯片性能,实现各类功能器件在芯片上的灵活高效集成,就要求研究者们开发新的技术来制造性能优异的微纳集成器件。在各类
目的:脓毒症是宿主遭受病原微生物感染后反应失调而导致的危及生命的器官功能障碍,是急危重症医学领域常见的致死性疾病。静脉液体复苏是脓毒症集束化治疗的核心环节之一,患有心力衰竭的脓毒症患者液体容量超负荷的风险性更高,且临床结局更差。目前关于脓毒症合并心衰患者液体管理的研究主要集中在脓毒症集束化治疗实施的临床效果方面,在这些患者中评估液体超负荷状态以及液体积聚如何与预后相关的方法仍然未知。本研究旨在评估
大数据时代下,数据中心规模日益增长,磁盘故障在大型数据中心中出现的频率越来越高,使得数据中心的存储系统可靠性降低。为了减少磁盘故障带来的影响,国内外研究人员基于SMART（Self-Monitoring Analysis and Reporting Technology）属性使用机器学习、统计学方法来建立磁盘故障预测模型,通过主动预测磁盘故障的方式来避免磁盘故障带来的影响,并取得了较好的效果。但是
随着人脸分析技术的飞速发展,人脸作为个体具有的独特标识在日常生活中运用广泛。然而,大多数现有的人脸分析技术,在对低分辨率的人脸图像进行计算时往往效果会下降,提升人脸图像的分辨率具有重要的研究价值。人脸图像超分辨率重建是一种通过软件算法提升人脸图像分辨率的方法,相较于提升硬件设备而言具有成本低和易升级的优势。现有的人脸图像超分辨率重建算法较少地考虑了人脸图像的纹理属性;另外现有算法在进行特征融合时所
新型的非易失内存（Non-Volatile Memory,NVM）技术可以满足数据密集型负载对大容量内存的需求。但是NVM非易失的属性容易导致数据安全问题,一般通过加密与完整性验证等技术来保证系统的安全性。并行完整性验证树因能够并行地进行验证与更新而受到广泛关注,但具有较大的崩溃恢复难度。频繁地持久化安全元数据能够缩短崩溃恢复时间,然而由于NVM表现出写操作不友好的特点,元数据持久化操作会降低系统
农产品地理标志的经济价值主要表现在两个方面，即标示农产品生产地域的不同与农产品质量上的优异，依靠它们，农产品地理标志成为促进农村经济增长的重要手段之一。农产品地理标志的发展也有不足之处，主要表现在市场影响力不够、生产规模较小、市场竞争力偏弱3个方面。农产品地理标志要实现其社会价值必须走品牌化的发展道路，即制定区域品牌发展战略、塑造区域品牌文化形象、推动区域产业集群发展。
随着短视频应用软件的发展,短视频数据的规模快速增长,存储短视频数据的内容分发网络（Content Delivery Network,CDN）缓存系统面临着挑战,频繁地插入、删除短视频数据和用户不均匀的访问模式制约着CDN缓存系统的服务性能。在传统的CDN缓存系统中,代理服务器需要大容量的内存来存储热数据以确保热对象缓存区的高的对象命中率进而快速地响应对热视频的请求,现有的代理服务器以成本较高的动态
随着工业的发展,二氧化碳等温室气体的年均排放量逐年增多,这造成了气温升高、气候异常以及极端天气频发等全球性问题。硒化锑（Sb2Se3）作为一种稳定、低毒、储量丰富的新型薄膜太阳能电池材料,具有适宜的禁带宽度（1.17e V）、吸光系数高(10~5 cm-1)、结晶温度低（133℃）、物相单一等优点,发展潜力巨大。但现行Sb2Se3太阳能电池的制备技术尚存在以下问题:一方面,蒸发源和基底距离有限,引