基于Spark的RDF流推理的研究与应用

来源 :中国科学院大学(中国科学院沈阳计算技术研究所) | 被引量 : 4次 | 上传用户:JoanFang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
语义物联网(SWoT)技术是对物联网的一个更深层次的扩展,其特点是以语义技术为基础,结合丰富的知识进行语义的查询与推理。传感器网络作为其最基础的设施,不同的传感器连续产生数据时,为了更好的表达和处理这些动态数据流,及时获取海量语义数据中有价值的隐含信息和知识,了解状态信息并作出反应,RDF流处理(RDF Stream processing,RSP)技术被提出。对传感器产生的语义数据流执行复杂推理的能力,目前已成为语义网社区中的重要研究领域。推理的难点在于数据量太大,计算耗时长,并且需要满足实时的特点,显然单机系统已难以使用大规模语义数据的推理。当前大多数RDF流处理系统是以SPARQL(W3C标准RDF查询语言)为基础实现的,但这些引擎在捕获复杂的用户需求和处理复杂的推理任务方面存在局限性。此外,基于Hadoop分布式处理框架面对流式处理的不足,并随数据量的增加效率不断降低,本文主要针对这一问题进行研究。基于上述的问题和策略,本文设计并实现了基于大数据框架Spark Streaming和Kafka的RSP方法,结合RDF/RDFs、OWL、ASP等语义技术,共同支持引擎的执行,实现对实时语义数据的高效推理能力。本文以智能家居SSN(Sensor Semantic NetWork)为示例,首先对设备间的共有特性及复杂事件进行分析,并结合已有SNN本体构建智能家居本体库,然后基于本体库实时产生的RDF实例对象,并通过中间件Kafka构建RDF流,接下来构建RSP-SR引擎进行数据的查询推理。同时本文还设计了RDF流的窗口划分策略,并去重、过滤、划分不必要的三元组等;设计数据分区模型减轻推理之前的计算工作;根据用户设定的事件模式选择性地进行静态知识库加载;查询优化等,最后依据已有的评估方法和测试指标,对比该方法与Sparkwave及S2RDF(同样基于Spark的RSP方法)三者在吞吐量和占用内存上的情况。结果表明,使用Spark组件(SparkSQL,Graphx,SparkML等)和ASP方法极大简化了复杂推理程序的实现,基于内存的迭代计算极大避免了推理过程中产生的中间结果的重复读取。因此使用该方法进行RDF流推理是可行的,且效率和可扩展性更高。
其他文献
英国诗歌的主流是人文主义。分析威廉·莎士比亚和约翰·多恩这两位大师在文风上看似迥然不同,却在人文主义思潮上有着共同的贡献。他们在诗歌措辞和内容主题上十分相似,以莎
茉莉醛在香料工业中占有重要地位,因此有关茉莉醛合成工艺条件的研究一直颇受重视.本文利用气相色谱分析方法对各种不同合成条件下的茉莉醛粗品进行含量分析,可快速、准确的
清前期《左传》文学评点是《左传》评点学史上的全盛期,这一全盛期的结束当以《四库全书总目》的编纂完成为标志。通过分析《四库全书总目》对《左传》及其评点的立场和评价,不
皮特·康拉德、理查德·戈尔登、艾伦·毕恩(从左至右)3位航天员乘坐阿波罗12号飞船执行第二次登月任务,康拉德和毕恩驾驶无畏号登月舱于1969年11月19日登上月球,
4月1日,玻利维亚通信卫星交付仪式在玻利维亚首都拉巴斯举行。中国长城工业集团有限公司向玻利维亚航天局正式交付了玻利维亚通信卫星及地面测控和应用系统。
近日,中央决定,任命许达哲为工业和信息化部副部长、党组副书记,国家航天局局长,国家原子能机构主任,国家国防科技工业局局长、党组书记,免去其中国航天科技集团公司董事长、党组书
也许,探空火箭与“两弹一星”比起来,无论是产品的知名度,还是工程的影响力,都相差甚远。但不能因此而抹杀了探空火箭在中国航天早期发展历史上的重要地位及所发挥的引领作用。可
前后轴侧倾角刚度的分配,会影响侧倾时车辆的轴荷转移,进而影响轮胎的侧偏特性,对车辆的稳态回转有重要影响。本文运用Adams/Car软件建立车辆的动力学模型,前悬架不变,匹配不
以一座西北边陲身处新疆南疆浩瀚戈壁中的柯坪镇为例,根据该城镇的客观功能需求和现有城镇脉络,基于绿色细胞单元、绿色廊道和绿色网络的相关理论基础上,以几种绿色细胞形式进行