【摘 要】
：
随着移动互联网的兴起,人们面对的数据信息开始呈几何趋势增长,许多企业发现了其中的商业价值,想从海量数据中挖掘有用的信息以支撑商业活动。数据分析人员、企业管理人员趋向获得实时的数据变化,然而,面对大规模的流式数据,常规的分析手段和分析框架对资源使用效率低下、计算结果不够及时准确、开发周期长。因此需要有一套不同于原有的基于Spark和Storm的计算平台,推动企业的数据业务高效运行。Flink计算框架
论文部分内容阅读
随着移动互联网的兴起,人们面对的数据信息开始呈几何趋势增长,许多企业发现了其中的商业价值,想从海量数据中挖掘有用的信息以支撑商业活动。数据分析人员、企业管理人员趋向获得实时的数据变化,然而,面对大规模的流式数据,常规的分析手段和分析框架对资源使用效率低下、计算结果不够及时准确、开发周期长。因此需要有一套不同于原有的基于Spark和Storm的计算平台,推动企业的数据业务高效运行。Flink计算框架在处理大规模数据时的高吞吐量和低时延特性以及对流式数据的良好支持使之成为了实时计算平台的首选框架,本文在基于Flink计算框架的基础上,使用Spring、Spring MVC、My Batis搭建了web端,对Flink的Table API进一步封装设计,简化了实时计算任务的配置操作和使用,为企业的数据流转提供了有效的解决方案。在该项目的设计开发过程中,作者首先参与了平台的可行性分析以及需求分析,在需求分析的基础上设计了实时计算任务管理平台的四大功能模块并分别实现:(1)Source管理模块:包括对Kafka集群管理,Kafka Topic管理,HBase维度表组织结构(Schema)管理。(2)Sink管理模块:支持将Kafka Topic,Hive表,Ti DB表,Hbase表注册到平台中,作为Sink端数据源。支持手动创建临时表或通过SQL语句在线创建临时表。(3)任务管理模块:该模块用于对实时计算任务增删改查,通过Rest API启动、停止计算任务。(4)任务监控模块:该模块用于监控平台中的实时计算任务运行状况,可以对任务的运行状态、运行时间等属性设置监控规则,查看任务运行日志,查看集群当前数据吞吐量,查看任务延迟时间。最后对系统进行了测试,测试结果表明在保证功能正常实现的基础上,新的实时计算平台相较于传统的手动开发模式加快了任务开发周期,减少了重复开发,实现了更高的资源利用效率和更高的任务吞吐量。
其他文献
本文是对直接取得模式下真正利他合同中第三人取得权利相关问题的研究。文章以大陆法系为主要背景,参考域外立法例,结合《民法典(草案)》的相关规定,对直接取得模式下第三人取得权利的理论基础与构成要件进行了讨论。第一部分用以界定本文讨论对象。以第三人是否享有请求权为区分标准,可分为真正与不真正的利他合同。本文所探讨的理论与规则,均围绕真正利他合同展开。在真正利他合同中,第三人取得权利又有不同的立法模式。其
柔顺机构通过其自身的非线性弹性变形来实现运动、力和能量的传递或转换。与传统的刚性机构相比,它们具有零件少且无需组装、无间隙、无摩擦、无回滞、运动精度高和可靠性高的优势,被广泛应用于光学、航空航天、微机电系统以及生物医学工程等领域。由于柔性铰链产生的可逆微变形会在机构内部产生应力,使得运动和变形从头到尾都交织在一起,导致机构设计和建模分析更加复杂。本文基于此能量特性开发了基于能量法的柔顺机构通用快速
随着石油资源的不断消耗,我国以大庆油田为代表的部分油田已进入开采后期,地下油层的压力减小,流动性变差,致使开采难度增加,目前油田主要采用高压注水方式采油,利用水良好的
紧急避险与胁从犯,均属于我国刑法中法定的能够减免刑事责任的情形。二者虽有相同之处,但更存在明显的区别。介于二者之间的被胁迫行为的定性,是当前我国刑法中暂未明确界定的问题。对被胁迫行为定性的分析,也就是对紧急避险与胁从犯界限的明晰。紧急避险相较于胁从犯的独特之处在于紧急避险的“不得已”和“必要限度”。对“不得已”的内涵,应解释为在客观上没有其它办法;对“不得已”的判断标准,应采取主客观结合的方法。对
目前,随着中国朝着制造强国的目标逐步迈进以及大数据的迅速发展,制造行业正处于走向智能化的新阶段,智能制造技术成为未来制造业发展的重大趋势和核心内容。滚动轴承作为现代机械设备中的关键零部件,遍布于制造业各个方面,其可靠性水平影响和制约着行业的发展。对于滚动轴承的智能诊断和评估需求日益旺盛。如何实时而又快速的评估滚动轴承的可靠性并进行智能化的维护取得了众多学者的关注。传统可靠性评估方法应用条件严苛,并
级联H桥型静止无功补偿器作为性能优越的无功补偿装置,其优点有响应速度快、可动态补偿无功功率、模块化程度高便于维护等,具有广阔的研究价值和应用前景。然而,连接点电网不平衡会给级联H桥STATCOM带来输出电流质量急剧降低、直流侧电压严重不平衡等问题,威胁装置的安全运行。本文以电网不平衡工况下的级联H桥STATCOM为研究对象,研究相应的控制策略,使STATCOM承受三相不平衡电网冲击的能力增强,保持
光与物质的相互作用在自然界中是最基本的物理过程之一,在量子光学中起着核心作用。腔光力学主要探索了光与机械振子之间的可控辐射压力的相互作用,在微小位移探测、微小质量以及引力波探测等方面具有潜在的价值,同时也为研究物理系统的宏观量子行为提供了合适的平台从而引起许多学者的关注。为减少环境噪声对量子系统的影响,要尽可能地抑制不可控的热涨落。为此,有必要将机械振子冷却到它的量子基态。本文利用量子耗散理论研究
近年来,腔光力学由于其在理论和实验上的迅速发展受到了广泛的关注,产生了许多新奇的物理现象,例如机械压缩,量子纠缠,机械冷却,单光子与声子之间的非经典关联,光子阻塞和相干波长转换等。一般的光力系统研究的是光学场与机械振子之间的两体相互作用,受此启发,最近一种新型的相互作用体系被提出,即腔场,机械振子与原子之间的三体相互作用。这样的混合系统叫做Tavis-Cummings耦合光力系统,这个理念已经提出
碳纳米点和其他发光材料相比,具有成本低、易合成、荧光性能优异和稳定性高等优点,但是传统的碳纳米点会有严重的聚集从而引发荧光猝灭,从而阻碍了碳纳米点在发光器件上的应用。此外,全可见光谱白光LED通常需要多种不同的荧光材料作发光转换层,不仅增加了制备成本,而且其不一致的退化时间会造成器件的光谱变化、发光漂移等情况。因此,针对此问题的研究具有重要的意义。本文使用微波法成功合成了一种新型的抗聚集猝灭的碳纳
能源短缺与环境污染问题已成为制约人类社会可持续发展的两大主要难题,我们迫切需要开发一种环境友好、绿色可持续手段来解决能源与环境问题。光催化技术利用太阳能降解有机