基于Spark的RDF流数据实时查询系统的设计和实现

来源 :中国科学院大学(中国科学院沈阳计算技术研究所) | 被引量 : 0次 | 上传用户:wzy_shun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
工业互联网将工业与新一代的信息技术进行紧密结合以实现工业领域的万物互联为目标。物联网是工业互联网网络构成的重要部分,能够实现网络边缘信息的感知与数据集成,并基于大数据分析技术实现海量数据的价值挖掘,进而支撑不同场景的智能应用。语义化是数据应用的高级形式,随着语义技术的发展,语义物联网等相关技术成为研究的热门与重点,受到广泛关注,流是承载物联网数据的典型形式,结合语义技术和流处理技术是实现物联网的数据互操作和智能应用的重要思路和有效途径,具有重要的科研价值。针对海量数据中语义信息的获取和实时查询这两个问题,本文重点研究了用于表达语义信息的RDF数据的查询方式,主要分为两种查询方案。一种是前向查询方案,使用该方案RSP(RDF Streaming Processing)引擎的推理查询是从设定的知识库中进行的,优点是可以满足实时性的需求,缺点是语义逻辑较为复杂时,由于知识库的限制而不能满足查询需求;另一种是后向查询方案,使用该方案的RSP引擎是对SPARQL(W3C标准RDF查询语言)进行扩展从而完成实时查询,优点是可以处理复杂语义逻辑,缺点是查询时间复杂度较高,实时性需求难以满足。结合上述RDF流数据两种查询方式的特点,本文设计并实现了一个基于Spark的RDF流数据实时查询系统——RSP-FB系统,该系统的核心部分为两个模块。前向查询模块,首先是采用了OH-CQ方法,该方法设计过程是使用合取查询的方式,通过SPARQL语句实现OWL公理到OWL Horst规则集的转化,从而实现OWL Horst规则集的扩展,然后对基于RDFS和OWL Horst规则集的特点进行分析,最后通过减少推理过程的迭代次数实现查询的优化。后向查询模块,首先是选取C-SPARQL作为查询语言,然后通过语句解析层获取语法树和对应的逻辑计划,并将生成的逻辑计划采用图的路径优化算法进行优化生成最终的查询计划,最后将查询计划分发到Spark集群不同的节点上去执行。同时,为了验证本文设计的RSP-FB系统的整体性能,使用LUBM数据集和SRBench数据集分别对前向查询和后向查询模块进行实验和评估,结果表明该系统在对RDF流数据查询上具有良好的扩展能力和实时查询能力。
其他文献
多组分微量气体传感在工业和科学领域都有十分重要的作用,如环境监测、大气研究、医疗诊断以及工业加工控制等等。光声光谱法由于其简单易行,灵敏度高和动态范围大而被公认为一种优秀的痕量气体检测方法。本文基于光声光谱法、近红外可调谐二极管、波长调制技术以及锁相放大技术研制了一种单共振腔多组分气体检测系统。现有的多组分气体检测系统多依靠中红外宽带光源,其或是价格昂贵,或是机构复杂,不满足真实探测需求。本文提出
学位
所有的相变材料中,VO2因为其相变温度最接近室温且具有独特的温度滞回特性而受到人们的研究和关注。VO2常用作热致变色材料和红外光调制材料,在光存储、环保智能窗、光电开关、激光防护等领域有广泛的应用。本文研究了VO2薄膜的红外热发射率特性,并探讨了其在真空环境中的应用。本文采用传输矩阵法对基于Ba F2、Si O2、Al2O3和Si衬底的VO2薄膜的辐射率进行了仿真计算,结果显示四种衬底上VO2薄膜
学位
<正>【书籍简介】被誉为“我们这个时代最杰出的心理医生”的斯科特·派克第一次说出了人们从来不敢说的话,发现了人们不敢面对的事,这就是:几乎人人都有心理问题,只不过程度不同而已;几乎人人都有程度不同的心理疾病,只不过得病的时间不同而已。20多年的行医生涯让斯科特·派克看到的是沮丧、绝望、内疚、恼怒、焦虑等各式各样的负面情绪对人们的折磨,这些见闻促使他沉下心来思考这样一个问题:人类所承受的这无尽的痛苦
期刊
光纤热扩芯(Thermally Expanded Core,TEC)技术一直以来被广泛应用于光纤信息与通信领域,它的主要特征在于保证光纤外形轮廓不变的情况下,既降低了纤芯与包层之间的折射率差,又增加了有效纤芯直径和模场面积。近年来,TEC技术不仅可有效解决连接不同类型的波导对准问题,还被认为是发展集成化光无源器件的主要途径之一,在超快光纤激光器和光纤传感等应用研究中有一定的潜在价值。本文从TEC技
学位
社会经济迅猛发展,人民生活水平的提高,带来的是国民对于风险规避与财产安全意识上的提高。随之而来的是保险产品的需求激增从而带来中国保险市场的迅猛发展。但是客户需求越来越多样化、个性化,随之而来的保险产品也越来越多。因此在客户需求和保险产品多样化的前提下,如何充分利用客群的属性特征,高效准确的向客户推荐适合其自身的保险产品,并且提升保险产品销售业绩是值得研究的课题。本文设计了基于协同过滤算法的保险客群
学位
以光为工具的刺激手段和成像手段广泛应用于神经生物学的研究中。光遗传学利用光学刺激选择性地激活光敏蛋白的遗传表达,以此来研究脑的神经信号;基于光纤束的光遗传学刺激及记录系统,是对自由活动的生物进行多脑区刺激和记录廉价易得的手段,然而传统的光纤束光遗传学刺激系统仅能够针对实验设计相应的刺激信号,不具有普适性与可拓展性。荧光显微镜的出现,使得获取对比度和分辨率更高的脑的结构信息成为可能。更大穿透深度和更
学位
近年来随着通信、电力、计算机等技术的不断发展,工业制造业领域也不断进行着产业升级。国际上提出智能制造的概念,将人工智能技术与传统制造技术相结合,使制造系统能够通过搜集、检索环境和生产信息进行自学习,进而能够自主对制造行为进行分析判断和规划执行。智能制造推动制造业走向数字化、网络化、智能化,提升整个制造产业向着高效、低耗、绿色、节能、智能、互联的方向发展。制造业是国民经济的主体,是立国之本、兴国之器
学位
近年来,很多工厂生产线开始大量应用计算机图像对高效生产、流程简化进行智能化处理,智能化是各个智慧工厂转型所必须要面对的,这显然已经成为了一种必然的趋势。早期研究表明,基于猪肉背膘的自动化检测装置,逐渐从硬件控制设备系统变成自动化软硬件结合的系统,通过设计并实现一种智能检测分析的平台,将计算机视觉技术利用到物品尺寸的测量、劣质物品的辨别以及物品的智能分类上,降低人工所带来的偶然误差以及工厂的机器使用
学位
全无机钙钛矿CsPbI3-xBrx半导体材料以其优异的热稳定性和适用于叠层电池的宽带隙,吸引了越来越多的关注。然而,在CsPbI3-xBrx钙钛矿太阳能电池(PSCs)中,较大的能量损失成为了制约其效率提高的主要因素之一。本论文主要通过优化钙钛矿薄膜的结晶过程、钝化钙钛矿埋底界面,从而减少钙钛矿薄膜内部和界面的缺陷,实现高效稳定的宽带隙全无机PSCs,并将其应用于高效钙钛矿/有机叠层电池的制备。在
学位
近年来,大气污染问题日益突出,实时准确地监测大气颗粒物成分已成为环境保护中的重要环节。光学手段广泛应用于大气监测领域,其中主被动遥感等技术在大气气溶胶的探测中发挥了积极作用。气溶胶消光后向散射比(Extinction-to-Backscatter ratio,EBR)是与气溶胶类型有关的一个重要光学参数,且是米散射激光雷达反演中的关键误差来源之一,故反演准确的气溶胶EBR值对于气溶胶的探测与研究具
学位