大数据管理与查询关键技术研究

来源 :哈尔滨工程大学 | 被引量 : 2次 | 上传用户:caikesbad
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着云计算、移动互联网、智能终端等信息技术的快速发展,经济社会运行方方面面的数据被记录下来,大数据的时代已经到来。政府和企业都越来越认识到大数据中所蕴含的巨大的商业、社会和科学价值,同时也激发了国内外的学术界和工业界学者专家对发展大数据应用技术发展的极大兴趣,基于云计算方式的大数据管理与分析逐渐成为一大趋势。只是,现有的大数据研究工作多集中于技术体系研究等方面,并存在大数据组织模型的形式化较低、缺乏异构数据融合度等问题。因此,在大数据资源描述和组织模型、异构异象大数据资源的高效整合、大数据应用形式化建模等方面仍然有很多研究工作有待进行。本文主要研究大数据处理的几个关键技术,以“电子政务建模仿真国家工程实验室”所承担的国家级业务信息服务为应用场景,围绕项目在大数据应用方面存在的现实问题,从实体信息获取、数据有效组织、多维数据检索以及复合条件查询4个方面展开研究。具体研究成果如下:1、实体信息抽取问题研究:针对实体抽取问题,基于使用路径表达式的思想,提出了物联网系统实体提取的P3E框架并探索其实际应用技术。通过研究基于路径表达以及“松弛”和“验证”思想,给出了实体提取问题的形式化定义。同时,作为P3E的一种有效实现,提出了基于高效自动机的IMP2E算法。通过详细的实验研究,证明了该算法可以有效且高效地解决物联网系统数据的实体抽取问题。2、大数据资源组织模型研究:提出了支持多维数据复杂条件查询的大数据资源组织模型。通过借助复杂适应系统(CAS)理论将大数据还原成适应性主体场景活动痕迹,通过定义信息空间,并将刻画痕迹信息的场景、子场景、实体实例标识、消息、时刻、名称项、值项等概念引入到信息空间,构建痕迹信息空间作为大数据资源组织的基础理论模型。3、基于痕迹信息空间的多维数据检索:在将痕迹信息空间作为大数据资源组织管理模型的基础上,研究了基于场景、实体实例、时刻等进行切片规则的大数据分区存储模型,构建全局索引和局部索引两层索引结构,进行多维数据检索模型设计。通过与传统的遍历检索和层次检索的比较分析,说明了该方法在支持多维数据检索方面具备可行性和有效性。4、复合条件查询方法研究:基于痕迹信息空间,以空间的约束条件来刻画复合条件查询问题的查询条件,以域来刻画复合条件查询问题的查询结果,给出了基于痕迹信息空间的复合条件查询问题的定义。并在此基础上,完成了复合条件查询方法的形式规约,给出了复合条件查询方法的系统模型。通过实验研究,证明了该方法的有效性。
其他文献
【正】《经营者》是经中华人民共和国新闻出版总署批准,由中国兵器装备集团公司主管、中国市场学会、中国高等院校市场学研究会、重庆长安工业(集团)主办的国家级大型综合性
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
大数据环境下,突发事件的危机数据来源复杂多样,通过使用词语相似度计算和Folksonomy自由标记语言,把多模态的危机信息转化成基于内容特征项集合的单一情报信息源,建立危机信
地理图表是地理学科的第二语言。不同类型的地理图表蕴含着丰富的地理知识、地理原理、地理规律、地理过程,阅读、分析、运用地理图表是培养学生地理核心素养的重要途径。
目的:研究维持性血液透析性患者进行降脂治疗后颈动脉硬化斑块的变化情况,为临床上需进行血液透析的患者预防和治疗颈动脉硬化提供指导意见。方法选取在我科进行治疗的血液透析
对于画画的人来说,如想在自己的画面中做到"无我",并在"无我"的追求中认识绘画的规律性,就必须勤于观察,注重感受,克服不求甚解、盲目动笔的现象。通过多方面的交流,对自己提
<正>~~
期刊
对采自藏北无人区西藏金沙江缝合带的基性、超基性岩样品进行了岩石学、岩石化学、稀土和微量元素、同位素等分析测试,以及主要矿物成分的电子探针分析.研究结果表明,这些样
小学美术的教学意义在于引导学生培养感受美术的魅力,激发其对美术学习的热情,最终目的是帮助学生提升审美能力、美术创造力以及个性化的感知能力。由于小学生的年龄比较小,
目的探讨评判性思维与老年护理工作质量的关联性,为护理管理人员的培训提供参考依据。方法利用中文版批判性思维能力测量表(CTDI-CV)评价在我院工作3年以上护理人员的评判性