【摘 要】
:
随着语义网的发展,RDF数据越来越多地应用于各个场景,其数据规模不断增长。为了更好地应用这些数据的价值,并且满足现今RDF数据规模巨大的需求,需要设计一套能处理RDF大图数
论文部分内容阅读
随着语义网的发展,RDF数据越来越多地应用于各个场景,其数据规模不断增长。为了更好地应用这些数据的价值,并且满足现今RDF数据规模巨大的需求,需要设计一套能处理RDF大图数据的分布式加载算法、存储方案和查询算法。且考虑到关系数据库发展成熟且具备众多原生数据存储方案不具备的优势,拟采用关系表的形式对RDF数据进行存储管理和查询处理。为了进一步提高RDF大图数据的加载速度,节约加载消耗时间,设计了分布式RDF数据加载算法。加载过程中的关键部分是对谓语进行图着色以确认其存储位置的过程,由于图着色问题是经典的NP完全问题,其性能消耗将严重影响加载时间。所以,本文设计了基于Pregel消息传递模型的分布式图着色算法用于加速这一过程。对于分布式存储方案,由于RDF数据具有数据稀疏和模式可变的特点,想要将其以关系表的形式进行存储需要进行特殊的设计。本文设计了基于关系的分布式存储方案,还设计了字典索引优化方案和划分优化方案来进一步提高存储空间性能和查询时间性能。在Spark GraphX上实现了上述分布式图着色算法和分布式RDF数据加载算法,并且使用以上算法将数据加载到分布式数据处理引擎HAWQ中,并进行查询性能测试。在合成数据集LUBM和真实数据集DBpedia上的实验结果显示,加载算法能够高效地进行数据加载,提高空间性能的同时,没有牺牲过多加载时间。所提分布式图着色算法能够高效地完成图着色任务,且JP-Pregel算法和LDF-Pregel算法的着色时间比MIS-Pregel算法分别平均缩短了26.4%和30.9%。所设计的存储方案能够减少空间消耗和加速查询。在LUBM200数据集上,未压缩的存储方案能够相比较于原始RDF数据能够减少16.4%的空间消耗,优化方案能减少29.3%的空间消耗。压缩的存储方案空间消耗仅为原始RDF数据的9.31%。实验验证表明,所设计的分布式存储方案能够提高存储空间和查询时间性能。
其他文献
土地的合理利用直接关系到社会的可持续发展,土地数据的快速获取与精准测量是土地管理、土地规划编制及土地整治的重要前提。针对传统土地调查技术需要大量外业操作费时费力的问题,本文致力于研究一种基于无序图像的三维重建技术。主要研究内容如下:(1)提出了一种基于自适应邻域测试的图像误匹配点剔除算法。针对以往特征点匹配比率测试算法获得的匹配点不能兼顾匹配正确率与匹配数量的问题,设计迭代高阈值比率测试方法初步过
保险公司作为大型企业,通过卖出保单和投资金融市场获得盈利。同时,它们也面临着各种风险,比如赔付风险和市场风险。风险过大时还会导致破产。如何控制风险成为保险公司资产
随着移动互联网和移动设备的普及,图像已经成为人们日常生活中最主要的信息交互方式之一。在国防军事、工业医疗和城市建设等领域也充满了各种各样的图像数据,高质量的图像更
微型真核生物指单细胞真核生物,其种类繁多,大小、形态、功能各异。微型真核生物在生态系统中作为初级生产者、消费者、分解者,同时作为连接微食物环与传统食物链的重要组成
在生物数学领域中,Lotka-Volterra模型是一个经典的数学模型。它有近百年的历史,至今仍有很大的活力,引起众多学者对其关注、研究。经典的Lotka-Volterra模型学者们己经研究得比较透彻。但是带有收获项的Lotka-Volterra模型,在现有的文献中研究的并不多,一般仅研究带有常数收获项的情形。研究带有扩散项的Lotka-Volterra模型更是寥寥无几。本文主要通过微分方程定性理
软件缺陷预测技术通过对软件历史数据进行分析,利用分类、排序等模型,识别潜在有缺陷的软件模块。软件缺陷预测模型构建过程中,有缺陷样本数远小于无缺陷样本数,且分布不均匀,存在严重的类间不平衡和类内不平衡问题,这两种情况都会对构建预测模型产生负面影响。为了减少数据不平衡对预测模型的影响,在软件缺陷预测模型构建的四个阶段都存在相应的方法对数据不平衡进行修正,包括数据采样、特征提取、分类器优化以及评价标准。
角蛋白是一种可再生、可生物降解、价格低廉,而且容易获得的非食物性蛋白质。废弃的羽毛、羊毛、头发、指甲及动物角蹄中均富含角蛋白,但大多被焚烧或掩埋等方法处理,这不仅
近年来,大数据和人工智能得到了快速发展。当面对海量数据以及高表达性的本体时,推理效率受到巨大的挑战。通过物化方式将推理问题转换为查询问题是当前查询问答推理的主流方
无线传感器网络(Wireless Sensor Networks,WSNs)是当下信息领域中研究的热门方向之一,可用于特殊环境实现信号的采集、处理和发送。作为一种新颖的信息采集和处理技术,无线
ART DECO风格近些年呈现出逐渐回归于其传统的建筑设计、室内设计和工业造型设计领域的趋势,该风格已融入到了图形设计、工艺美术、时装设计和影视艺术等诸多方面。ART DECO