基于分布式聚类的服务组织管理技术研究与实现

来源 :北方工业大学 | 被引量 : 0次 | 上传用户:chairy01
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着云计算、移动互联网、泛在计算技术在软件行业的飞速发展,“万物皆互联”与“万物皆服务”逐步成熟,各领域的可用服务越来越繁荣,海量服务之间的互联互通形成了服务互联网。在此背景下,服务数量日渐增长,服务类型和服务描述呈现多样化,给服务的组织管理和检索效率带来较大挑战。服务聚类方法是一种有效的服务组织管理手段,它能够识别并聚合具有一定相似程度的服务,通过服务集合的划分与服务归类实现服务重组,从而缩小服务的搜索范围,提升检索效率。分布式聚类方法利用分布式计算框架对聚类算法进行优化设计,可以有效应对海量服务资源的挑战。当前,常用的服务聚类方法,通常以服务描述等文本为基础,通过判定文本相似度实现服务聚类。但是普遍存在下述问题:(1)目前的大多数服务描述文本通常为短文本,特征稀疏,对聚类结果的准确性影响较大,同时现有的服务聚类大都假定服务特征词汇相互独立,缺乏考虑服务文本的语义影响;(2)聚类通常需要反复迭代计算,大量磁盘的I/O会成为制约分布式聚类效率的瓶颈。此外,聚类结果不具有语义信息,难以基于聚类结果进一步实现服务的组织管理。针对上述问题,本文提出一种基于分布式聚类的服务组织管理方法,主要有下述三点贡献:(1)本文提出了一种基于词向量扩充和BTM的服务元数据模型,使得多样化的服务类型和服务描述拥有归一化的服务元数据模型;并且词向量的扩充和BTM的应用,使得服务描述拥有语义特性,缓解服务描述短文本特征稀疏的问题。(2)本文提出了一种基于Spark的FCKM服务聚类算法,以贡献(1)中的主题模型为基础,将k-means算法与canopy算法进行融合,降低算法迭代次数;并在基于内存的Spark框架上实现该算法,避免大量磁盘I/O,提升服务聚类效率。本文还提出了一种基于特征提取的服务类簇的语义建模方法,为优化服务组织和管理提供支撑。本文设计实验验证了本文所提出的服务聚类算法在聚类效果和聚类效率上的提升,以及本文所提出的服务类簇的语义建模方法的有效性。(3)本文在贡献(1)和贡献(2)的基础上,搭建了一套服务组织管理系统,实现了服务入库、服务描述处理、服务聚类、系统管理等功能。
其他文献
随着软件安全性的重要性日益增长,在设计阶段发现问题以规避后续修复问题的成本变得越来越重要,使用模型驱动的方法进行软件开发也因此越来越受到重视,这同样也对嵌入式系统的软件安全性分析提出了更高的要求,在这种趋势下危害演化链应运而生,危害演化链具有演绎性分析、集成多方面信息、分析结果更全面更系统等优势。此外,对于软件系统尤其是嵌入式软件系统,安全性问题发现的阶段越早,后续修改的成本越低。而相比于对静态模
超分辨率重建(Super Resolution,SR)是图像处理领域的重要组成部分,也是当今科学研究的热点问题。本文的研究对象是在静电悬浮结合垂直真空落管实验设备上采集的低分辨率(Low Resolution,LR)材料熔滴图像。针对现有的SR方法应用在熔滴图像上往往会出现边缘模糊、纹理细节信息不足等问题,本文以卷积神经网络(Convolutional Neural Networks,CNN)为主
随着物联网技术和众多新科技成果的结合与发展,产生了诸多便利生活的设备,这些设备在使用期间,产生了大量隐私、敏感数据,与此同时,私人数据的收集、泄露已经越来越隐蔽、普遍,因此物联网资源安全访问控制就变成了一个亟待解决的问题。访问控制技术常常被用来解决物联网在信息通信和访问中的安全性问题,但是传统的访问控制系统容易单点故障,且在不可信的环境中进行访问控制操作容易发生数据泄露。区块链和访问控制技术结合,
随着人工智能技术的快速发展,以及人们对新兴技术的迫切需求,催生了数量众多的智能创新与应用,以智能汽车为代表的智能交通建设已成为国内外一个极具研究价值的重要课题。激光雷达(LiDAR)传感器依据先进的激光测距原理,获取的环境点云数据精确度高,测量的范围广,不易受天气、光照、物体表面纹理等影响,已被广泛应用到各种智能移动设备的环境监测、自主导航、路径规划中,是智能汽车实现环境感知的核心设备。然而,Li
近两年,受疫情的影响,人们进出公共场合需进行登记与身份验证。目前普遍采用的人脸识别系统易受口罩遮挡的影响。本文从虹膜识别领域出发探索一种面向移动端的虹膜识别方法。与传统虹膜识别方法相比,基于神经网络的虹膜识别方法精度更高、系统鲁棒性更强,但其参数量庞大,对运算、存储需求较高,难以部署在硬件有限的移动端设备上。为解决上述问题,本文提出一种将轻量化网络结构与模型量化技术相结合的轻量化神经网络用于移动端
移动边缘计算是在物联网背景下的一种分布式计算模式,可以将计算、存储以及小型云中心的处理能力转移到网络边缘。本文从移动边缘计算的架构、特性优势,对邻近性与位置获取进行阐述,对几种新兴的应用场景做了分析,进一步讨论了移动边缘计算在未来的发展以及可能遇到的挑战。本文以节点的移动性预测与计算卸载方法两方面开展研究,主要内容如下:设计了基于移动边缘计算的预测服务框架,利用岭回归优化回声状态网络,对移动节点出
图像风格迁移是近年来十分活跃的研究方向,该研究因其迁移结果的多样性,及其特征提取的思想在其他计算机视觉应用中具有通用性,从而具有一定的应用价值和学术价值。水墨画作为我国重要的文化遗产,具有极强的艺术风格特性,是传播中华文化的重要代表。科技和艺术的融合研究是近年的学术热点,为了更好地弘扬民族文化,本文将风格迁移与中国水墨艺术画相结合,基于循环式生成对抗网络(Cycle GAN)提出了一种新的水墨风格
近几年来,随着大数据的热潮,数据分析处理愈发复杂,传统的一些机器学习技术已越来越不能够适用于当前的大部分数据分析任务。纷繁复杂的现象往往需要多变量数据来描述,而这些数据维数高、样本量大,通过降维技术从这些数据中分析出隐含的数据信息,了解数据的本质特征,有助于更好的提供各领域的信息服务。本文通过对高维数据降维以及预测的相关理论和技术展开系统研究,对相关算法分别对比探究。选用传统主成分分析算法(PCA
随着卷积神经网络在图像视频识别等领域的广泛应用,海量的卷积神经网络计算任务需要得到高效的处理。传统的处理器架构,例如CPU和GPU,由于其结构的局限性无法很好地适应神经网络的计算特点。尽管许多相关工作提出了基于近存储计算的深度神经网络专用加速器,但在冯诺依曼架构下,无法从本质上解决存储墙对深度神经网络加速器性能的影响。因此,研究者们提出基于内存计算的深度神经网络加速器来缓解大量数据访存带来的存储墙
冲击地压是一种严重威胁矿井安全的灾害,具有极强的破坏性。当其发生时,工作面或巷道周围的煤岩体在高应力的作用下发生突然破坏,并伴随着巨大声响及冲击振动,振动能量以弹性波的形式向外传递。弹性波中包含有煤岩体受载荷作用引起的内部结构和能量演化等基本信息,对这些信息进行有效处理和运用,对了解地下岩层的能量和结构的变化、破裂时空演化及冲击地压监测预测等具有重要意义。论文针对冲击地压亚失稳产生的弹性波时频域特