基于相关性分析的多维数据融合方法

来源 :北京邮电大学 | 被引量 : 1次 | 上传用户:sisi22
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着边缘计算、软件定义网络等网络新技术的出现,网络规模日益扩大,异构性和复杂性不断提高,网络运维数据呈现出大规模数据关联、交叉和融合的局面。在网络运行过程中,节点运行时的多维运行指标(如CPU占用率、内存占用率、硬盘读写速度等)作为体现网络运行状态的重要数据之一,其多维属性之间并不是独立变化的。因此,需要利用数据融合技术对节点的多维关联运行指标进行综合分析,从而得到对网络状态更精确的描述,这对于评估网络当前的运行状态、检测网络攻击或异常、协助故障预警等都具有重要的意义。目前基于相关性的数据融合技术已经有了较大的发展。但是,这些研究还存在着一些局限性。例如,大多数数据融合技术主要针对多来源的单一属性数据进行分析融合,但忽略了多维数据相关性问题;在数据源可能存在异常甚至遭受攻击的情况下,大多数数据融合技术无法达到合理度量冲突大小、修正异常数据从而解决数据冲突问题的效果。为了更好地衡量网络节点多维数据的相关性并提高多维数据融合方法的准确性,本文提出了一种基于相关性分析的多维数据融合方法。首先提出一种基于网络节点社团划分的相关性分析方法,引入社团划分理论将相似度较高的节点划分至同一社团,随后提出基于社团相关性的多维数据融合方法,利用社团相关性区分正常证据和异常证据,并对同一社团内(即相关性较高)网络节点的多维属性数据进行融合,从而为有效评估相似节点的运行状态提供支撑。首先,针对目前相关性分析存在时间复杂度较高、无法有效度量多维数据相关性的问题,本文提出一种基于网络节点社团划分的相关性分析算法。该方法首先引入局部保持投影对节点属性进行降维,并改进最大信息系数用于计算节点的总体相关性,构建一个节点相似度网络。然后,利用改进随机块模型探测节点相似度网络的拓扑属性,并将节点自身多维属性数据建模为高斯混合模型,建立似然概率模型,利用EM算法进行求解,从而将网络中相似度较高的节点划分至同一社团。我们对本文算法进行仿真实验,与现有GN、LPA、SBM等节点相关性划分算法对比,本文算法在NMI、ARI、Q等各项指标上均有较大幅度提升。然后,针对D-S证据理论中存在异常证据导致的证据冲突、无法有效融合多维数据的问题,本文提出一种基于社团相关性的多维数据融合方法。该方法根据改进最大信息系数构建节点间的相关性矩阵,利用社团相关性区分正常证据与可能的异常证据,并引入冲突系数对可能存在异常的证据的BPA进行修正,从而将节点数据转化为D-S证据理论中的证据。然后,通过社团内各个证据的BPA构造识别框架上各命题的区间数,引入有序加权平均算子对融合规则进行改进,使得冲突证据的负面影响进一步降低,得到最终的融合结果。仿真实验结果表明,本文算法可以合理有效地处理冲突证据,并提高多维数据融合方法的准确率。
其他文献
散在倍增插入变异是一种常见的人类基因组DNA插入类型,在人类癌症的发生过程中起着促使基因组不稳定的重要作用,准确检测散在倍增插入的位置及序列,对变异基因的筛选分析和对癌症等疾病的靶向药物选定具有重大意义。随着第二代测序技术的发展,越来越多检测插入变异的算法逐渐被提出,但是使用第二代测序数据很难检测散在倍增插入变异,这是因为源自测序样本中散在倍增插入区域的读段很可能完全映射到参考序列中的其它区域。而
《燕语生意筋络》是清末以北京话为载体的商务汉语用书。《燕语生意筋络》为我们提供了一个较新的语料去研究清末北京官话。本文从版本、语言、商业文化三个层面对这本专书进行研究。首先,对该书的成书背景、渊源、体例等版本信息作了细致的溯源和介绍,发现与《燕语生意筋络》同一内容不同年代的历时系列语料——《生意初阶》《贸易须知》(炳记)、《贸易须知》(嘉庆本)与《燕语生意筋络》形成的系列语料,也具有较高的研究价值
随着中国的发展进步,老百姓对健康越来越关注,对医疗保障的要求也进一步提高。同时,随着我国医疗改革的加快和医疗保障受众的全覆盖,加上人口老龄化加剧、医疗保障经费大量使用,医疗费用支出大幅增加,以前的医疗经费管理和服务方法暴露出诸多不足。通过推动医疗保险公共服务流程改进来破解老百姓看病难、养病难、报销难、没病预防难等问题,已经成为D市医疗保障公共服务改进工作面临的重要课题。本文首先对我国目前整个医疗保
VB族金属钒(V)是重要的氢分离和纯化材料,由于其低成本、高氢渗透和良好的机械强度而受到人们的青睐。但是,纯V易发生氢脆和氧化,对氢的解离和重组效率较低,在实际应用中非常容易受限制。经研究表明,对V合金化后,可以改善氢脆效应、表面氧化以及提高氢解离和重组效率,从而提高V合金的氢渗透性和机械性能。为此,我们使用第一性原理计算系统地研究了H在V(1 0 0)表面和体内以及过渡金属元素(M=Mo、W、P
随着互联网的高速发展,人类可获取的信息量呈指数级增长,如何从海量数据中挖掘有效的信息成为亟待解决的问题。信息抽取研究正是在这种情况下产生的,其目标是将自然文本中的无结构化信息进行结构化处理,以统一的形式存储,并对获取的知识进行关联融合。实体关系抽取是其中重要组成部分之一,其通过理解文本语义,抽取文本中实体之间的现实关系,形成<实体-关系-实体>三元组作为知识图谱的最基本组件。因此,实体
智慧城市建设背景下,为应对人口高龄化、空巢化的加速发展,智慧养老应运而生。智慧养老的技术核心是利用信息技术,信息技术的发展在为老人养老带来智能、适老产品的同时,对老人的隐私权保护也提出了严峻的挑战。论文以老人隐私权保护为研究对象,运用隐私合理期待理论、感知隐私风险理论,以及层次分析法、熵值法、模糊综合评价法等分析工具,分析了老人隐私权风险等级,提出了老人隐私权保护的政策建议。论文从五个方面展开论述
随着互联网的高速发展,移动群智感知系统越来越多地应用于各个领域,如环境监测、交通状况等。群智感知系统可以通过社会中的群众和专业技术人员解决大范围的监测、交通、新闻等方面的技术问题。然而我们没有利用庞大的群众基数来发挥更有效的力量,这使得生活中的许多问题无法更有效率的解决。由于用户参与数量不足、上传感知数据量过少等问题,激励机制的研究在移动群智感知系统中显得尤为重要。设计激励机制的困难在于无法兼顾合
数字图像处理研究已经有多年的历史,许多相关理论均已成熟,各种算法和技术丰富。焊缝质量的高低直接影响到产品的使用安全性,要保证产品的安全性就需要对焊缝进行缺陷检测。X射线成像由于成本较低、成像速度较快等特点,一直是首要选择的成像方法。但由于成像技术的影响,X射线焊缝图像存在噪声多、对比度较低等缺点,人工识别的方式存在主观性且识别效率低下等问题,使得当前的检测方式准确率较低、识别速度低下。基于此,本文
近年来,随着全球各大卫星导航系统不断增强与完善,位置服务相关产业也在飞速发展。与此同时,互联网技术的不断成熟,也加速了互联网产业与位置服务产业的结合。本文以TC-OFDM
拉曼光谱与机器学习的结合目前已是各个领域研究的热点,随着它的迅猛发展,已经有越来越多的研究者用其进行生物医学方面的研究。本文介绍了共聚焦拉曼光谱与机器学习的结合在