一种大规模图数据处理关键技术的评估模型

来源 :第二届CCF大数据学术会议 | 被引量 : 0次 | 上传用户:parrotxu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社交网络、知识图谱等图应用的不断发展,对亿万个顶点级别大规模图的处理能力的需求愈加迫切,这是当前海量数据处理领域的研究和开发热点.但是,目前并没有一个全面的评估模型来衡量和比较当前主流框架的适用场景及利弊.针对以上问题,本文全面分析和总结了大规模图数据处理的四个关键问题,包括图数据分布策略、磁盘数据组织策略、迭代编程模型、消息模型与同步策略等.结合主流的大规模图处理框架,建立了评估模型定量地分析这些关键问题对大规模图数据处理的影响,对未来图计算框架的设计具有指导意义.最后通过全面的实验评测证实了本文提出的评估模型的有效性在测试结果中发现了如下不同寻常的现象:与图数据边分割相比,通常认为更快的顶点分割方法(如PowerGraph)虽然在邻域算法上运行时间确实能够达到边分割的50%左右,但是在非邻域算法上时间开销却是边分割的3倍;与同步策略相比,异步策略可以减少约20%~30%的总计算量,但在稠密图上由于细粒度的锁冲突,其运行时间反而可能达到同步策略的2倍;当数据集达到4千万顶点和13亿条边时,基于磁盘的MapReduce比基于内存的Giraph等框架性能反而更高.
其他文献
众所周知,PLC内部时钟由于无法准确检测其稳定性和时间间隔,通常不能作为流量标准装置控制系统的计时标准,即使使用PLC的定时器以及定时器的计时中断,也因受到PLC内部程序执
LNG加气机是将LNG加气站液化后的天然气加注到LNG汽车的设备,设备主要由 LNG 质量流量计、管路系统、电脑控制系统三部分组成。质量流量计是LNG加气机的关键设备,其计量稳定性
涡轮流量传感器是一种精密流量测量仪表,与相应的流量积算仪表配套可同于测量液体的流量和总量,用于广泛。涡轮流量传感器叶片角度对其性能有很大影响,改善传感器特性需要采用
FT011浮子流量计是AP1000回路中使用的一种水平安装的流量测量装置.由于管道走向不确定,流量计的安装方位也是随机的,从而造成流量计所承受的地震及接管载荷的作用方向也存在
电化学气体传感器,采用三电极体系,将工作电极恒定在选定的电位下,使被测气体在该电极上产生氧化还原电流.该电流与被测气体浓度成正比,故可以定量检测,在低浓度气体的检测中
电化学及电致化学发光生物传感器具有快速、灵敏、选择性高、操作简便等优点,是目前生物技术研究最为活跃的领域之一.近年来科研人员利用酶和功能化纳米材料,结合多种构建方
  MicroRNAs (miRNAs) play important roles in a wide range of biological processes,and their aberrant expressions are associated with various diseases.Here,we
大数据集成是提供高质量数据进行决策的基础.集成的一个关键环节是根据实体在数据库中的不同元组确定其准确属性值.最新的R-topK方法在数据上实施人工设计的规则确定属性值间
随着大数据的到来,数据流处理技术又成为了新的研究热点.为此本文回顾了近期提出的面向大数据的流处理技术的现状,并且从流处理模型上对这些技术进行了划分,重点分析了面向大
大数据(Big data)技术的普遍应用正在改变着传统的信息安全体系,因此需要设计新的信息安全模型和新的信息安全处理方法来面对新型信息安全挑战.本文从"端"、"管"、"云"三个层