基于分布式平台的Graph OLAM大规模多维网络分析挖掘系统的研究与实现

来源 :北京邮电大学 | 被引量 : 2次 | 上传用户:sb129
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着互联网信息技术的迅猛发展,各个应用领域逐渐积累了海量数据,网络结构作为一种表示和分析大数据的有效方法,能够对现实生活中大量数据进行建模。这些网络数据通常具有较丰富的维度,如何从这些大规模多维网络中挖掘其中蕴含的深层次信息,为业务人员提供决策支持,逐渐成为研究人员关注的焦点。Graph OLAP(图联机分析处理)技术继承了传统OLAP技术中的相关思想,允许用户对多维网络数据从不同角度与层次进行分析。然而现有的围绕Graph OLAP技术的研究大多围绕立方体的构建开展,相关操作大多为传统OLAP技术在图数据上的拓展,提出的模型对网络自身拓扑结构的挖掘能力较弱。另一方面,以图论为基础的传统图挖掘技术,能够通过对网络拓扑结构中隐藏的信息进行挖掘来描述网络的特征,尽管一些研究引入图挖掘技术作为Graph OLAP的预处理阶段来丰富网络的维度,但并没有就如何将二者更深入结合进行讨论,分析能力依旧较为有限。为了弥补传统Graph OLAP技术分析能力不足的问题,本课题在Graph OLAP技术的基础上引入图挖掘技术对相关概念进行拓展,提出了融合Graph OLAP与图挖掘技术的Graph OLAM(图联机分析挖掘)多维网络分析框架,以支持更为复杂深入的分析。基于这一目标,本课题进行了以下内容的研究:1.定义了关系路径聚合网络与关联维度聚合网络,设计了一种新的图数据立方体模型以指导多维网络的聚集。提出的模型较现有的图立方体模型在时间与空间占用上具有更好的表现。2.对多维网络分析框架中操作的概念重新进行了定义,提出了Graph OLAM操作与Graph OLAM工作流的概念,并对相关操作与方法进行进一步的梳理与归纳。3.围绕Graph OLAM的相关概念设计了面向大规模多维网络数据的分析挖掘框架,并从立方体物化与分析框架优化两个方面探讨了优化策略,设计实现了优化算法。4.基于分布式存储平台与并行计算框架,实现了Graph OLAM大规模多维网络分析框架原型系统,在大规模真实与模拟数据集上进行了实验,并在多个真实的应用场景上进行一定的场景拓展,讨论了挖掘结果对应的现实意义,验证了框架在大规模多维网络分析上的高效性,有效性和可拓展性。
其他文献
本文主要研究异常气候下温跃层的分布特征以及其变化对渔业分布的影响,采用2008-2017年全球海洋Argo网格数据集(BOA_Argo)和同期商业渔船的鱼捞日志数据研究了拉尼娜和厄尔尼
光纤因为其低损耗、大带宽、低重量和抗电磁干扰而被作为传输射频信号的一种重要媒介。模拟光链路因为能同时实现高增益、低噪声和大无杂散动态范围(SFDR:Spurious Free Dynamic Range)而在微波光子的许多应用中扮演重要的角色,提高光电探测器的接收光功率是改善模拟光链路系统性能最有效的方法。目前高发射光功率的激光器和大接收光功率的光电探测器已经制造完备,相比之下,光纤的功率处理能力
沙柳作为沙生灌木类树种之一,具有平茬复壮的生长优势,根系发达、生长速度极快,是我国西北地区一种典型的沙区能源树种。由于长期以来对该类资源利用意识的缺乏,再加这类生物
1、成牙骨质细胞的培养目的:建立成牙骨质细胞系,观察细胞生长,测试细胞体外矿化能力,检测细胞内ETBR的存在。方法:培养小鼠源性成牙骨质细胞系OCCM-30,观察其生长状态,绘制生长曲线,茜素红染色检测其体外矿化能力,免疫荧光染色检测细胞内ETBR的表达及定位。结果:生长曲线结果示细胞生长迅速,茜素红染色结果示OCCM-30体外诱导可生成矿化结节,免疫荧光结果显示成牙骨质细胞膜上存在ETBR。结论
随着计算机辅助医疗的发展与普及,利用锥形束X线断层摄影术(CBCT),磁共振成像(MRI)等扫描得到的医学数据大大推动了临床医学应用的发展。在数字口腔领域,不同模态数据的配准,
我国东北地区,随着国家基础设施建设的大力投入,很多高速公路已建成并投入运营。许多桥梁在使用过程中已出现破损现象,为了确保交通安全,需及时地进行加固和维修。然而由于交
目的:甲状腺激素对中枢神经系统的发育和功能至关重要。发育期或/和成年期发生的甲状腺激素缺乏均能导致海马结构和相应学习记忆功能的损伤。甲状腺激素主要通过结合其核受体
寡脱氧核苷酸(oligodeoxynucleotides,ODN)是一种碱基数目通常少于五十个的脱氧核苷酸序列,存在于自然界某些低等生物基因组的DNA中,易于与它们的互补链相互对接。MT01是依据人线粒体DNA人工设计合成的含有27个碱基的特定序列ODN,通过胞吞作用进入细胞,可与Toll样受体9(Toll like receptor 9,TLR9)和Toll样受体7(Toll like rece
目的血管平滑肌细胞的异常增殖、迁移和表型转换是动脉粥样硬化的主要发病基础,研究其分子机制可以揭示动脉粥样硬化发病机制,发现新的治疗靶点。在血管受到损伤过程中,血管
语言是文化的重要载体,也是信息量丰富的文化元素,凝聚着民族历史的记忆和智慧。民族语言的有效传承,对于保持语言的多样性,进而维持文化的多元化有着重要意义。达斡尔族是我国人口较少的民族之一,在历史长河中造就了璀璨的民族文化。达斡尔语作为其文化的重要标志,也是其精髓所在,在达斡尔族文化的发展进程中扮演着无可取代的角色,其传承的重要性不言而喻。而随着城市化进程的加快,语言环境的缺失,加之现代教育的冲击,达