【摘 要】
:
近年来信息化行业不断发展,以云计算、分布式等为代表的新型信息技术不断涌现,社会已逐渐步入大数据时代。在气象行业,随着现代化建设不断推进,业务服务不断拓展,观测频次不断加密、加工产品不断丰富,气象数据资料种类和数据量爆发式增长。面对海量气象数据高效处理相关问题,开展Hadoop、Map Reduce等技术的研究已经比较普及,但由于这些技术都是基于批处理设计的,普遍存在延迟高、响应慢的不足。为满足海量
论文部分内容阅读
近年来信息化行业不断发展,以云计算、分布式等为代表的新型信息技术不断涌现,社会已逐渐步入大数据时代。在气象行业,随着现代化建设不断推进,业务服务不断拓展,观测频次不断加密、加工产品不断丰富,气象数据资料种类和数据量爆发式增长。面对海量气象数据高效处理相关问题,开展Hadoop、Map Reduce等技术的研究已经比较普及,但由于这些技术都是基于批处理设计的,普遍存在延迟高、响应慢的不足。为满足海量实时数据高速处理的需求,信息领域研究了Active MQ、Kafka等多种消息中间件,在一定程度上解决了海量实时数据并发采集和高速处理的难题,但是如何对各种消息中间件进行性能优化,进一步提升其并发性能和吞吐量,依然是各行业普遍研究的热点。为解决海量实时气象数据并发处理能力不足的问题,本文对国内外相关研究状况进行多方面调研分析,通过对比不同消息中间件的特性,选择目前广泛使用的分布式消息订阅系统Kafka为研究对象,构建基于分布式架构的试验模型,采用熵权法分析气象数据关键特征值分类策略,开展Kafka关键功能特征最优配置策略研究,并采用大量对比分析实验进行验证。具体如下:(1)对比分析常用的Active MQ、Rabbit MQ、Kafka等多种消息中间件的关键特性,采用Kafka构建高并发实验模型,具备实时处理海量气象监控数据的能力。(2)提出采用熵权法分析不同种类气象资料关键特征值的算法,得出这些特征值对应于消耗Kafka集群资源所占的权重,进而形成气象数据在Kafka中最优分类分区策略,作为Kafka中进行数据分区的依据,提升Kafka并发性能。(3)选取对Kafka并发性能、吞吐量影响最明显的Thread、Partition和Replica等关键特征,对其适应海量气象数据处理的配置策略开展优化研究,找出适应气象数据高速处理的最优策略组合,进一步提升Kafka的并发处理与数据吞吐能力。(4)设计最接近实际应用场景的监控信息作为实验数据集,利用Producer和Consumer端的测试工具依托实验模型对气象数据分类分区方法和Kafka最优分区策略的研究结论进行了分析与验证。实验结果表明:本文提出的研究方法,在有限的基础资源支撑条件下得到了最优的性能提升,满足海量气象监控信息数据高并发处理的需求,达到研究目标。
其他文献
与传统的开放手术相比,微创手术可明显减小手术切口。但对于微创脊柱外科手术而言,小切口会导致医生术野受限,增加手术难度,因此,尚未大范围推广应用。其主要原因在于以下三方面:透视图像和二维CT图像序列无法直观地反映立体位置关系;术中X射线采集的透视图像是非实时、非连续的,因此缺少患者空间与医学影像空间的连续映射关系;缺少防止椎弓根螺钉偏离期望位置和姿态的安全防护措施。机器人辅助手术导航是结合了医学图像
公路运输是最主要的货物运输方式,随着我国公路货运业务量的持续快速增长,货源供应量和营运车辆供应数量呈现与日俱增的趋势。而在公路运输中,一直存在车找货和货找车的难题。随着移动互联网的发展,解决这一问题的载体从线下的信息部转移到线上的车货匹配平台,但车货双方供需信息不对称的本质问题仍然存在。这就导致了车货供需信息标准化程度低、匹配效率低以及匹配推荐缺乏稳定性和精准性。基于公路货运物流的背景,本文首先对
受到新零售线上与线下融合势头加快、社交电商平台快速发展、电商节日促销等因素影响,国内快递业务量持续上涨,物流快递行业发展势头强劲。目前国内物流快递行业发展虽快却没有达到专业程度,客户对多个物流服务节点满意度不高,行业发展还存在改进空间。电商物流发展与电商平台发展息息相关,找出物流服务提升点对电商平台和物流发展具有重要意义。电商在线评价包含用户对商品购买的各环节体验感受,能够从中了解到物流服务相关信
股权激励制度自实施以来,一直饱受争议。作为一种降低管理层与股东代理成本的手段,股权激励能够使激励对象勤勉尽责、按照公司价值最大化的原则进行经营管理,从而提高企业投资效率,激励企业创新,帮助企业筛选、管理和保留优秀人才。但由于市场缺乏效率,相关法律制度和公司内外部治理机制尚不健全,股权激励也可能成为高管自利的手段。正常派现兼顾股东回报与公司发展,是一种理性分红行为,但在我国上市公司中还存在各种损害投
随着社会经济的不断发展,证券行业也发生了巨大的变化。一方面,证券交易经济业务部陷入了恶性的佣金大战,另一方面,随着客户可以对证券营业部进行自主地选择,证券营业部之间的竞争逐渐加大。与此同时,各种各样的金融服务产品也在逐渐发生变化。投资者为了更好地适应这种变化,必须寻找多元化的投资渠道,开展多样化的投资内容。证券行业为了进一步适应市场的变化,也必须完善自身的客户管理水平。如何有效地管理客户关系,成为
热障涂层(Thermal barrier coatings,简称TBCs)是一种不可或缺的热防护技术,它经常被大量用在发动机,尤其是航空发动机上,这项热防护技术被全世界权威机构所认可,在全世界推进推广,尤其是用在热端部件。热障涂层不同的制备工艺决定其不同的微观结构,从而影响涂层的服役性能。电子束物理气相沉积(EB-PVD)因为其材料制备的微结构以及成分可控被广泛的应用于航空发动机和燃气轮机高温部件
随着航空航天业不断发展,鸟撞问题已成为威胁航空器安全的重要隐患之一。近些年来复合材料蜂窝夹芯结构广泛应用于飞机的各种部件上。为了减轻鸟撞飞机问题发生时飞机部件的破坏程度,给飞机复合材料蜂窝夹芯结构设计时提供理论参考,本文通过有限元仿真手段对复合材料蜂窝夹芯结构的抗鸟撞问题展开研究。首先,为了获得可靠的鸟体和复合材料层合板材料模型和参数,使用LS-DYNA有限元分析软件建立了鸟撞铝合金平板和泡沫铝弹