【摘 要】
：
物联网数据接入系统是实现终端感知设备与应用服务交互连接的桥梁,是物联网应用体系中最先接触到终端数据的关键枢纽。随着物联网飞速发展,终端设备数量呈爆炸式增长,面对海量终端数据处理,物联网数据接入系统的并发接收能力、流量洪峰负载能力,将是保障物联网应用优质服务体验的关键点。针对海量数据接入问题,本文从物联网系统架构、数据处理链路等方面深入研究,设计并实现了一种基于微服务架构的数据接入分层集群系统。首先
论文部分内容阅读
物联网数据接入系统是实现终端感知设备与应用服务交互连接的桥梁,是物联网应用体系中最先接触到终端数据的关键枢纽。随着物联网飞速发展,终端设备数量呈爆炸式增长,面对海量终端数据处理,物联网数据接入系统的并发接收能力、流量洪峰负载能力,将是保障物联网应用优质服务体验的关键点。针对海量数据接入问题,本文从物联网系统架构、数据处理链路等方面深入研究,设计并实现了一种基于微服务架构的数据接入分层集群系统。首先,针对传统数据接入服务端业务模块耦合、不易灵活拓展、并发数据接入能力差的问题,提出一种基于Netty的分层数据接入集群架构设计方案。按微服务架构思想,对系统模块进行细粒度拆分,将复杂耗时业务模块移至解析层,使接入层专注于数据接收与转发。并结合Zookeeper构建节点元数据发布订阅模型,实现集群节点间动态连接协调管理。同时,基于Disruptor提出一种无锁化线程间任务调度策略,进一步提升Netty线程资源利用率。实验结果表明该设计有效地提升了服务端应对高并发数据接入的响应速率与吞吐量。其次,为进一步提高数据接入系统应对突发流量的能力,在原数据接入分层集群系统基础之上,设计了一种基于自定义报文协议的区别化链路处理方案,其中在非核心链路引入Kafka消息队列实现了节点间的异步通信与并发缓冲。同时为提高数据链路适配多种业务需求的能力,基于自定义轻量级RPC（Remote Procedure Call）框架,提出一种动态化链路调度策略,以满足不同业务情况下的链路划分需求。经测试区别化链路处理方案可有效减轻高峰流量期系统的负载压力。
其他文献
车云计算是云计算技术在车载网上的扩展,旨在利用车辆闲置的计算、存储等资源构建成云为车辆提供实时服务,保证车辆决策的实时性和有效性,实现智能交通管理,提升交通效率及安全性。然而车云具有高度的动态性和自组织性,如何安全匿名且高效地构建车云以及保证云用户的隐私是一个挑战。目前已有的研究方案中存在车辆的隐私保护问题或是构建车云的方案效率不高。本文重点研究在保护车辆身份隐私及位置隐私的情况下高效地构建车云,
随着数据量的爆炸式增长,数据中蕴含的知识信息也越来越复杂多元化。因此,如何从海量数据信息中有效地挖掘出知识成为了当今学者研究的一大热点问题。知识发现一直都是大数据技术下的一个主要研究点之一,基于概率粗糙集的三支决策就是一种典型的知识发现算法,一个作为解决复杂问题和不确定性问题的三分而治模型,并且结合多粒度思想构建的序贯三支决策模型,能很好地实现复杂问题的动态决策的效果。然而,在实际决策中,当没有决
随着云原生时代的到来,Kubernetes和容器技术已经成为云计算领域的主流技术。Kubernetes因其实现了对容器的服务发现与调度、负载均衡、服务自愈、弹性扩缩容和存储卷等功能,被作为容器管理平台的首选。虽然Kubernetes具备丰富的容器管理功能,但是它并不会考虑容器运行过程中的成本问题以及整体Pod之间的关系,也不具备重调度机制来节省成本。为此,本论文提出了基于Kubernetes的成本
古文物承载着人类文明千年以来的历史文化和精神内涵,对研究古代经济、文明等方面起到至关重要的作用。通过将古文物进行数字化处理,从二维图像转换为三维模型的形式能够有效地减少实体展览所带来的空间和时间上的资源损耗,同时能够使人们能够通过网络的形式以三维的角度更全面地去了解并学习古代文物所蕴含的历史文化。不同于传统的三维重建方式,基于深度学习的三维重建方式更适用于单视图的情况,同时能够在不需要复杂的图像处
随着计算机和三维扫描设备越来越快速的发展,三维几何模型也逐渐成为表达数字媒体信息的方式。点云作为三维模型主要表达方式,其应用场景也越来越多,但是原始点云占用空间较大,而且含有噪声,不适合直接进行使用。骨架可以理解为三维模型精简之后的表示,只需要原始三维模型的部分信息,就可以表达三维模型全局信息。因此,从三维点云数据中分离出可靠的骨架是非常重要的。目前基于深度学习的骨架提取方法主要针对二维图像,针对
随着互联网的飞速发展,网络用户越来越多,社交媒体已经在人们的生活中占据了重要的地位,网络舆情的监管也变得越来越重要。如何分析群众的情感变化,如何挖掘民众关心的热点话题,已成为研究人员的重要研究课题。然而传统的舆情分析方法无法直观地表达文字背后的潜在信息,这就需要数据分析和可视化技术的结合。针对以上问题,本文提出了一种面向新冠肺炎舆情的可视分析方法,可以有效地帮助用户进行微博舆情分析。本文主要做了如
视频逐渐成为当今主流的传播媒体,而海量的视频数据会给视频内容的审核带来巨大的挑战,因此使用计算机去识别视频中的行为具有重要的意义。此外,计算机可以处理多模态数据,完成人体行为识别任务,其中处理骨骼数据的方法具有计算量小、对光照变化鲁棒性强,动作表达能力强等特点。目前,使用基于图卷积网络的人体行为识别已成为一种新兴趋势。然而,如何准确的判断所属行为类别仍是人体行为识别技术的一个难点。本文在对人体行为
在现实世界中大规模的图像数据集往往是呈现为长尾分布的,少部分的头部类别占有大量的样本,而大部分的尾部类别只有少量的样本。目前针对农作物叶部病害识别的研究大多数在类别均衡的平衡数据集基础上进行的,而现实生产中的农作物叶部病害样本分布却大多呈现为长尾分布的状态。卷积神经网络是图像识别领域的关键技术,而数据的长尾分布会使卷积神经网络性能大幅下降。本文针对长尾识别问题和农作物叶部病害识别的特点,主要进行了
食品安全对人们的身心健康至关重要,快捷、精准、灵活和直观的检测方法是保障食品安全的重要手段。聚集诱导发光（aggregation-inducedemission,AIE）材料是近年来提出的一种新型荧光材料,该材料具有可调节的光学特性、良好的光学性能及较好的抗干扰性,并以背景值低、信号强度高的优势在食品安全检测领域展现出广阔的应用前景。四苯乙烯（tetraphenylethylene,TPE）是最具
在大数据时代,信息数据呈现爆发式增长态势。能够高效地、准确地、精简地从海量数据中获取重要和关键信息的自动文本摘要技术应运而生。文本摘要提取方法主要有生成式和抽取式两种。生成式摘要能够通过理解原始文本的语义信息和关键内容,重新用简练的文字将信息表达出来。抽取式摘要通过直接从原文中抽取重要句子或者短语重新组成摘要。目前效果表现较好的生成式方法仍旧存在着难以抓取关键信息和生成高质量摘要等缺点,且处理长文