【摘 要】
：
在当前大数据技术蓬勃发展的时代，人们对气象数据的实时处理、数据质量、数据存储及大规模查询等要求也越来越高。针对现有气象自动站数据业务落地环节多，任务处理耦合紧但系统部署分散等问题，文中基于Spark Streaming的流式计算框架，研究使用Flume解析收集自动站原始数据，在Spark Streaming中设计融入自动站数据质控算法，最终通过对分布式数据库存储的表设计，使气象自动站数据具备高效率
【基金项目】
：
江苏省气象局面上基金项目（KM202002）； 中国气象局小型基建项目（QJ2017006）；
论文部分内容阅读
在当前大数据技术蓬勃发展的时代，人们对气象数据的实时处理、数据质量、数据存储及大规模查询等要求也越来越高。针对现有气象自动站数据业务落地环节多，任务处理耦合紧但系统部署分散等问题，文中基于Spark Streaming的流式计算框架，研究使用Flume解析收集自动站原始数据，在Spark Streaming中设计融入自动站数据质控算法，最终通过对分布式数据库存储的表设计，使气象自动站数据具备高效率、高质量、高可靠的应用服务能力。性能测试结果表明，基于Spark Streaming的气象自动站数据实时流处理与存储系统，数据从文件采集、解码、流处理至入库的全流程能够在秒级完成，TB级数据查询响应为毫秒级，加权查询为秒级，完全满足自动站数据业务应用需求，从而为进一步提高气象自动站数据质量与服务水平提供基础支撑。
其他文献
＜正＞指甲是保护手指的天然盔甲,是抵抗外界伤害的屏障。但是,如果有一天这层屏障出了问题,那么往往预示着我们的身体可能"受伤"了。虽然由于遗传和环境因素,每个人的指甲形态不尽相同,但如果出现以下几种异常情况,就可能预示着我们的身体出现问题了。
唐高祖即位初便与西域地区保持着交通往来，这理应被视为唐朝经营西域的开端。武德四年，西域二十二国遣使贡献，如此显赫的外交成就，与西突厥统叶护可汗的默许以及凉州总管杨恭仁的招抚有关。唐高祖的西域经略观可概括为：通过与西突厥使节往来、军事结盟、政治和亲，以期共同抵御北突厥。贞观初年，张弼出使西域，极大地丰富了唐太宗的西域认知。一方面，在西域建置伊州、重视与西域诸国的使节往来和通商、扶植西突厥泥熟系；另一
＜正＞文本解读当代作家吴然的散文《走月亮》,以清新的语言、欢快的笔调表现"我"和阿妈在月光下散步时的所见所感。读着这篇课文,让人不由得走进一幅世外桃源般如诗如梦的画卷中:明亮而柔和的月光下,阿妈牵着"我"的小手,走啊走,走过村头,走过大道和小路,走过小溪和水塘,走过溪岸和拱桥,走过果园和菜地……山高、村静、水香、塘趣、果甜、虫鸣、鸟飞、溪淌、人语,无不充盈着温馨之美。
目的 分析叙事护理模式对妊娠糖尿病产妇分娩的影响。方法 选取我院收治的56例妊娠糖尿病产妇作为研究对象，将其按照随机数表法分为对照组（28例，使用常规方法护理）和观察组（28例，使用叙事护理模式）。对两组的护理效果进行分析。结果 两组患者在接受护理后均取得一定效果，但观察组在采用叙事护理模式后，其血糖控制情况、自我管理评分、饮食行为情况、治疗依从性、分娩情况、妊娠结局均优于对照组，差异均有统计学意
人类已经由基因组时代步入了后基因组时代。海量激增的蛋白质数据逐渐成为这个时代的特征,生物信息学研究发现蛋白质的功能和结构与亚细胞位置有很大关系,蛋白质转运到不同的位置（细胞器）能发挥不同的作用,因此急需一种根据亚细胞的定位来高效地分析蛋白质功能的方法。文章主要围绕这一主题,针对蛋白质序列的编码方法和分类预测算法两方面进行了相关研究和讨论,并在不同的数据集上分别进行了测试和分析验证。概括本文的主要创
＜正＞《走月亮》是儿童作家吴然的代表作，本文是一篇儿童文学作品，也是一篇写景叙事小散文，全文充盈着“美”的要素，如诗似画，具有梦幻般的色彩，深受广大儿童群体的喜爱。该文语言优美，情感饱满，观察细腻，以“我”与阿妈在月光下行走，边走边对所见景色进行深情的描绘，表现了“我”对童年的回忆与怀念，具有浓浓的童真和童趣。“走月亮”是我国云南地区的民间俗语，指的就是在夜晚有月亮的地方散步、行走、赏玩，具有独特
本文报告研制了一种以感压气囊作为压力传感器、充气缚带捆扎夹板、气压表测定压力值、报警器自动报警，并具有按摩功能的小夹板监护仪。它能使夹板压力保持在既能达到固定效果，又不影响伤肢血液循环的相对恒定状态。临床应用５５例，与传统小夹板固定组４７例对比，并发症少，功能恢复好，有明显优势。
【目的】汽车灯是人与车、车与车之间信息交互的必要装置，在汽车智能化发展中有着举足轻重的地位。针对当前车灯存在信息传递能力较弱、信息交互不直观的缺点，本文提出了一种照明与信息显示融合的智能LED汽车灯。【方法】首先，提出了车灯光路改造及智能控制系统的总体设计，然后借助多物理场有限元仿真软件COMSOL对光路传输性能及可靠性进行了仿真分析及优化设计，最后根据仿真结果定制了透镜等关键组件并制作了车灯实验
针对可调色域技术领域中的传统三基色芯片光源存在的芯片光衰、温度特性不同、光谱不够连续以及五色光源工艺结构复杂等技术痛点，本文基于COB封装，对蓝光LED芯片表面采用荧光粉分区喷涂的方式，设计并制作了一款高显指色域可调的三基色COB LED光源。测试结果表明，通过调节每个区域芯片的驱动电流大小，改变三色光的发光强度能够实现智能调色。在色温为3 000～6 000 K时，选取的样品光源7个色温下的色坐
目的 探究非淀粉多糖对酶法制备高分支麦芽糊精黏弹特性的影响。方法 利用α-葡萄糖基转移酶（α-glucanotransferase, α-GT）和马铃薯淀粉制备高分支麦芽糊精,并对其分子量、分支度和消化性进行测定。采用动态流变仪分别测试黄原胶、桃胶、香豆胶、刺槐豆胶和魔芋胶5种非淀粉多糖对高分支麦芽糊精的增稠效果。选取增稠效果适中、稳定性高的香豆胶按不同质量比与高分支麦芽糊精混合,进行振荡流变测试