海量半结构化数据采集、存储及分析——基于实时空气质量数据处理的实践

来源 :统计研究 | 被引量 : 0次 | 上传用户:luhaohui923
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据现象及处理引起了社会各界的关注。本文以大数据宏观层面理论为依据,试图从微观层面讨论一类大数据的具体处理,归纳提出一种基于开源架构的海量半结构化数据采集、存储及分析自动化解决方案,并分析解决方案的开放性、融合性和经济性的特点,指出解决方案的可拓展方面。同时,结合海量空气质量实时数据,分析解决方案的具体开发细节,给出解决方案运行的经验做法,讨论分析过程的大数据压缩机制。
其他文献
<正>深入分析ProfiNet实时以太网协议,提出了实时以太网设备性能参数的评估和测试问题,搭建ProfiNet实时以太网网络协议解析、测试和评估平台,逐条监听和抓取ProfiNet报文进
在企业管理中,有效的财务管理与控制是不可缺少的。现在的市场竞争如此激烈,中小企业在优化外部条件的同时,也要加强对于自身内部的控制与管理。本文主要对中小企业内部的财
地理事物空间分布特点的描述是指能够利用简洁的文字语言描述地理事物的空间分布特征,并根据所学知识综合分析这种分布特征所产生的作用或影响。
从“造情为主 ,以情动人”、“强化氛围营造”、“创造视觉美感”等方面评述获奥斯卡多项提名的影片《第六感》在创作上的突破 ,由此引申出对当今恐怖片发展态势的探讨和总结
针对明流水力计算中人工渠道均匀流水深h0和临界水深hk用试算法和图解法计算烦琐、查算精度较低等问题,提出了迭代计算方法,并逐一加进了相应的算例.用迭代计算法简单、方便
针对明流水力计算中人工渠道均匀流水深h0和临界水深hk用试算法和查图法计算繁琐,查算精度较低等问题,本文提出了迭代计算方法,并完整地介绍了几种常用规则过水断面明流的均
在分组密码算法硬件实现中,同一时刻存在大量的并行运算,但实际的侧信道攻击中利用到的功耗分量比较小,噪声比较大,为了提高侧信道攻击对分组密码算法硬件实现的攻击效果,增
结合社会需求,提出将众创空间融入高校图书馆服务的思路,对高校图书馆众创空间的构建模块进行初步设计,并探讨其服务方式。分析当前高校图书馆众创空间的现状与实践启示,供同
作者针对我国审计判断的现状及其对策做了一些理论和实践的探讨,内容主要包括审计判断的的特征以及审计判断的成因,并对改善审计判断质量的措施进行了全面的分析。
文中分析微网中微电源包括光伏发电、风力发电、微燃机、柴油发电机和燃料电池的电气特性,构建微电网优化运行的模型,以微网的经济成本和环境成本最小为目标函数,充分考虑了