【摘 要】
：
针对现有气象自动站业务平台面临处理数据不及时、交互式响应慢、统计时效差等问题,提出了使用Spark Streaming技术和HBase解决该问题的方法,将实时计算框架和分布式数据库系统结合起来实现大规模流式数据处理。使用Flume收集自动站数据,Spark Streaming对数据进行流式处理并存储到HBase数据库中,并设计Spark框架下的自动站数据流式入库处理算法和要素极值的实时统计算法,在
【机 构】
：
北京市气象信息中心,北京市气象探测中心
【基金项目】
：
中国气象局公益性行业科研专项基金资助项目（201206031）.
论文部分内容阅读
针对现有气象自动站业务平台面临处理数据不及时、交互式响应慢、统计时效差等问题,提出了使用Spark Streaming技术和HBase解决该问题的方法,将实时计算框架和分布式数据库系统结合起来实现大规模流式数据处理。使用Flume收集自动站数据,Spark Streaming对数据进行流式处理并存储到HBase数据库中,并设计Spark框架下的自动站数据流式入库处理算法和要素极值的实时统计算法,在Cloudera平台下实现了一个高速可靠的实时采集、处理、统计的应用系统。通过对比分析和性能监测,验证了
其他文献
介绍了光分组网和光分组交换技术,从技术角度分析了光分组交换方式的优点,比较并评价了具有代表性的几类光分组交换节点结构,展望了光分组交换的前景及光网络节点结构的演化趋势。
中国音乐学院音乐教育系筹建于1988年冬,是设在专业音乐院校里的师范音乐专业。它的基本任务是通过多层次、多渠道的办学形式,为普通教育培养音乐师资和理论研究人才。几年
基于国际比较的思路,通过建立计量模型,定量分析了"后4%时代"我国财政性教育投入的总量与结构。结果表明,我国当前财政性教育投入水平低于国际平均水平,应将财政性教育经费投
<正> 腺苷酸脱氨酶(AMP deaminase,EC 3.5.4.6)催化5′一腺苷酸脱氨生成5′一肌苷酸。核酸经5′-磷酸二酯酶降解后,用AMP催化其中5′一腺苷酸使其生成5′一脱苷酸。产脱氨酶
针对公共场合紧急情况下人群疏散困难和效果有限的问题,提出一种基于人机社会力模型的机器人疏散人群的方法。首先,基于原始社会力模型提出了一种新的人机社会力模型,该模型在原始社会力模型的基础上加入了机器人对人作用的人机作用力;然后,基于人机社会力模型提出一种新的利用机器人疏散人群的方法,该方法在人群疏散场景中加入运动机器人,通过机器人自身的运动,利用人机作用力影响周围行人的运动状态,减小行人之间的压力,
“不满是向上的车轮，能够载着不自满的人向人道前进”。这曾是鲁迅先生发自内心的呼唤。“不满”可以解释为不满于现状，不安分于此刻，不停留于现在。中华文化确实源远流长，博大精
【正】曾经有段时间极其迷恋三毛,迷恋得一塌糊涂。那时还很小,14岁吧。看到这样一个女子,先只身跑到西班牙,再由西班牙跑到撒哈拉。在无边沙漠里,在语言不通的异国他乡,感受
漏诊是人工流产手术操作未刮吸出胚胎组织,妊娠仍继续进行.我院2000～2005年共发生人工流产术漏吸患者10例,现就漏吸原因及处理探讨如下.
近年来，因二手房买卖合同引发的定金、一房二卖、房屋质量、中介费用、房产买卖中户口迁出等纠纷频发。苏北某法院最近三年来共受理此类案件115件。$$在审判实践中发现，二手房
针对基础磷虾群(KH)算法在求解复杂函数优化问题时局部搜索能力差、求解精度低、收敛速度慢、容易陷入局部最优等问题,提出一种基于动态压力控制算子的磷虾群算法(DPCKH)。该算法将一种新的动态压力控制算子加入了标准磷虾群算法,使其处理复杂函数优化问题更有效。动态压力控制算子通过欧氏距离量化了多个不同优秀个体对目标个体的诱导效应,进而在优秀个体附近加速产生新磷虾个体,提高了磷虾个体的局部探索能力。通过