基于语义的数据垂直分片系统的设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:dyflovedyf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了提升数据库的性能,对数据进行分片操作成为了非常必要的手段。在进行分片操作时,需要注意遵守分片的完整性、不相交性和可重构性原则。分片方式主要有三种,水平分片、垂直分片和混合分片,每种分片方式都有各自适合的场景,这里主要讨论垂直分片。垂直分片在实际应用中,往往可以用来划分出热点数据,从而提升数据库性能,降低数据访问成本。但是目前的垂直分片往往没有考虑到数据之间的语义关系,若是在分片的时候考虑到数据之间的语义关系,就能生成效果更好的分片,因此设计并实现了一个新的基于语义的数据垂直分片系统。发现数据之间的关系正是数据聚类的目的。首先对目前为止最常见的几种聚类分析技术进行研究,包括层次聚类、划分聚类、密度聚类、网格聚类等等,通过对其各自的核心算法思想进行总结,发现算法各自的优缺点以及适用的场景。通过对划分聚类的详细研究发现,传统的K-Means、K-Modes算法并不能对混合型数据进行聚类,为了能够处理更灵活的查询记录,提出了采用K-Prototypes聚类算法对混合型数据进行聚类分析。再通过对距离度量方法的研究发现,可以使用Jaccard相似系数来度量簇之间相似程度,将相似的簇进行合并直到生成指定个数的分片。算法整体上分为两步:第一步,进行聚类得到若干个簇;第二步,在聚类的基础上计算簇之间的相似程度将相似的簇进行合并。在实验中验证了新算法并得到了分片方案。实验中将其与普通垂直分片的方案进行对比,发现数据库的响应速度有明显的提升。在新分片算法提出的基础上,设计并实现了基于语义的数据垂直分片系统。该系统不仅能进行垂直分片,同时还能对原始数据进行适当处理、提供关键的图表说明文档。
其他文献
随着大数据时代的不断发展,数字化、信息化已经成为国民经济发展的重要增长点,国企作为国民经济的支柱产业,已经随着时代浪潮逐步进入深化改革、不断演化发展的进程,国企管理升级的举措也日渐与国际接轨,财务部门作为管理机构也逐步实现了“六者定位”的转变,但单一传统的账表分析及呈现方式已不能满足当下管理层对转型后财务管理工作的要求。Tableau作为一款多功能快速分析、可视化并能分享信息的软件,它能生动地帮助
期刊
目标跟踪是实现智能化视频应用和智能决策的关键环节,对视频监控、智能交通、和人机交互中的运动捕获等应用都具有重要意义。但是在各类应用场景的长视频中,目标存在表观变化和反复遮挡,如何持久稳定地跟踪目标成为了亟待解决的问题。本文针对自然场景下长视频的目标稳定跟踪问题进行研究,主要的工作如下。(1)针对长视频中跟踪目标表观变化和遮挡后重捕获问题,设计了一种基于标注帧特征融合的目标跟踪方法。该方法采用基于检
学位
对于我们人类而言,拥有着复杂结构以及丰富细节等特点的人脸是十分重要的生物特征之一,它能够表达出众多的属性信息,来帮助我们在日常生活中进行无需言语的沟通交流。人脸属性包括年龄、性别、种族、表情等生物特征,利用机器学习的方法来识别出各自不同的属性特征即为人脸属性识别算法。现在主流的图像分类算法多采用了基于卷积神经网络的深度学习方法,但对于高度相似且数据繁多的跨域人脸属性识别问题却仍面临着挑战。为了解决
学位
面对复杂多变的国内外经济形势以及党中央所提出的新要求,国企要更好地发展就必须积极地进行管理改革。本文主要针对多元化战略下国企业财一体化对财务管理方面带来的启示进行探讨,希望可以为改进国企财务管理提供借鉴。
期刊
为分析施工过程中腹板预应力锚头混凝土破裂修复后连续箱梁结构整体受力是否满足设计要求,本文以某市过江通道及连接线工程为例,分析东侧引桥上层第三联变宽连续箱梁腹板预应力锚头混凝土破裂产生的原因和导致的影响,并基于Midas Civil有限元软件,结合现场实际处理情况进行数值分析,根据得出的预应力损失对成桥状态的影响量值与设计成桥状态进行数值比较。结果表明:锚头混凝土破裂造成主梁弯矩、正应力、主应力和竖
期刊
随着人们的生活方式越加丰富,大规模的用户也产生了更大规模的应用数据。为了解决信息过载这一问题,推荐引擎也应运而生。但是就目前来看,大多数推荐算法都是直接将兴趣行为直接视为兴趣结果,而潜在的兴趣很难通过显性行为得到充分体现。大多数方法忽略了挖掘行为背后真正的用户兴趣,并且用户兴趣是不断变化的,获取兴趣之间的的动态关系对兴趣的表示非常重要。因此需要进一步的研究来解决这些问题。为了更好地捕捉用户兴趣之间
学位
模型压缩是当前深度学习技术从实验到实际落地部署的一个重要环节,涉及到的主要方法包括轻量化模型设计、低秩分解、剪枝、量化和知识蒸馏等,随着深度学习的广泛应用,模型压缩技术逐渐成为该领域的研究热点之一。本文重点对面向图像数据的目标检测问题进行模型压缩研究,一方面,图像信息的维度较高,在进行网络推理时需要巨大的参数量和浮点运算量;另一方面,相比于图像分类问题,目标检测的应用范围更加广泛,问题更加复杂,因
学位
飞秒激光诱导产生纳米光栅一直是飞秒激光精密加工领域的研究重点,因为其光学双折射现象、周期性、热稳定性、延迟值和光轴方向可控性、可重复擦写性等不同的性质,在不同的研究领域都受到了广泛的关注。其中关于可重复擦写性的研究一直是一个热点。本文结合之前的研究者对纳米光栅可重复擦写性的研究,提出了从三个方向观察纳米光栅重复擦写的过程,通过改变不同参数的实验探索了纳米光栅慢轴方向改写以及控制延迟值的方法,寻求其
学位
近些年物联网快速发展,物联网中的连接节点设备数量也呈现指数增长趋势,与此同时设备固件漏洞安全问题也呈现出逐年增加的趋势。在固件源代码开发过程中,为了加快开发效率,开发者或多或少会引入对于第三方开源代码的克隆。而这些不经意间的代码克隆,往往可能将安全漏洞引入到固件源代码中。本文将源代码相似性检测引入到固件源代码漏洞检测中,以发现由于代码克隆而引入到固件源码中的漏洞。本文设计实现的固件源代码漏洞检测系
学位
随着互联网技术的发展和人工智能技术的演进,基于搜索引擎的问答技术难以满足人们日益增长的需要。人们需要在繁杂冗长的搜索结果中寻找自己需要的信息。在“新型冠状病毒”疫情的影响下,怎样准确简单地了解病情信息就成为了亟待解决的课题。本文实现的临床医学智能问答系统可以理解用户提问,精确识别用户意图,在知识库中寻找答案,将答案准确简洁地返回给用户。本文通过爬取互联网中的医学知识网页资源,并基于规则的方式对提取
学位