大规模多维网络分析模型的研究与实现

来源 :北京邮电大学 | 被引量 : 1次 | 上传用户:lanqishi1989
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的发展,存储设备成本的降低,企业都根据自己的业务需求建立了大量的数据库并存储了海量的数据。如何利用这些数据为业务决策提供指引与建议是企业决策分析人员需要解决的一个难题。联机分析处理(OLAP)被公认为是一个有效的解决方案。OLAP能够高效快速地对海量数据进行多维度、跨粒度的分析并提供决策支持。经过二十多年的研究与发展,OLAP技术已经相对成熟规范,很多商用的数据库以及数据仓库系统都有OLAP功能的实现。近些年来,社交网络、生物信息、多源信息融合等新兴领域高速发展,在现实应用中涌现出大量的多维异质网络,网络的规模也在不断增大。传统OLAP分析的数据是以事实表与维表组织的,事实之间没有关联。使用传统的OLAP技术无法有效的对多维网络进行分析。面对这一问题,Graph OLAP技术逐渐发展起来,这一技术相比于传统的OLAP技术,改进了信息模型,使用图立方体代替数据立方体,支持网络数据的多维多角度分析。但是Graph OLAP的研究目前仍还处于起步阶段,模型分析能力有限,大多的模型不支持对多维异质网络以及海量数据进行有效和高效的分析。本文针对现有Graph OLAP模型的不足,提出了新的分析模型,支持大规模多维异质网络的多维度分析,本文的主要研究内容如下:1.设计了新型的多维异质网络信息模型,定义了异质网络中的二元关系元路径,n元关系元路径,并对这些元路径的关系进行了研究,作为指导网络聚集的新方式。2.设计了 TSMH Graph Cube,将传统的图立方体扩展为实体超立方体和维度立方体这样的两阶段立方体。在立方体模型的基础上,赋予了传统操作新的语义,并提出了更多的Graph OLAP操作,使得网络分析更加多样。3.对实体超立方体,本文提出了并行化的聚集算法并给出了物化策略。对维度立方体,本文对节点以及维度属性进行编码,设计了节点的编码算法,使得节点做维度OLAP操作时无需进行实体表与维度表的连接操作,大大提高了维度OLAP操作的效率。4.为支持海量的数据规模,模型的Graph OLAP操作算法使用并行计算框架实现。通过对大规模真实以及模拟数据的实验,验证了模型对大规模多维异质网络能够进行有效和高效的分析。
其他文献
布里渊散射是光纤中重要的非线性效应之一,是光纤中入射光波和声波之间相互作用引起的一种非弹性散射现象。光纤中的布里渊频移与温度和应变呈线性关系,因此,光纤中的布里渊
《新安晚报》创刊于1993年,是安徽省发行量最大、影响力最广、广告收入最多的都市报,在全国的都市报中也属于佼佼者。2010年,媒介融合中的《新安晚报》成立网站,因此笔者选取
在信息爆炸式增长、多媒体技术及互联网发展日新月异的时代,人与人之间对各种多媒体资源共享的需求越来越高,大量的图片共享需要构建高效的检索系统。现有的社交图像搜索技术
当前社会,在大数据迅猛发展的势头下,信息量呈现出爆炸式增长。面对海量数据的冲击,越来越多的用户需要个性化和针对性的信息推荐,高校图书馆作为高校学术研究的主要信息提供
随着互联网时代的到来,异质信息的规模正在飞速增长。具有广泛应用的图数据不仅在数量上急剧增长,其包含的信息也更加多样化,因此对海量图数据进行有效地管理具有重要意义。
人脸识别的研究对于图像处理、模式识别、计算机视觉、计算机图形学等领域的发展具有重大的推动作用。随着视频监控、信息安全、访问控制,尤其是互联网信息检索等应用领域的
自从2006年云计算的概念被提出以来,这一融合了网格计算、并行计算、效用计算以及分布式存储技术的产物得到了快速发展,给用户带来了无可比拟的使用体验:成本低廉、按使用付
随着投资者投资理念的形成,证券市场不断规范化,上市公司经营绩效评价在协助市场管理者加强监管,引导投资者理性投资,促进上市公司加强内部管理等方面的作用显得越来越重要。
帧率上转换(Frame Rate Up-Conversion,FRUC)算法通过在原有两个视频帧中插入中间帧的方式,实现将视频从一个较低的帧率提高到一个较高的帧率。随着超高清4K视频的出现,像素
长输管道工艺系统是一个统一的、连续的水力系统,若首站和某中间站突然出现非正常阀门启闭和泵机组非正常停运,就会导致水击现象发生。水击波沿管道传播,极易造成管道某些管