统计数据与大数据源的融合应用

来源 :重庆师范大学学报(自然科学版) | 被引量 : 0次 | 上传用户:beyondzcy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
[目的]通过统计数据和大数据融合来扩大统计基础数据库数据资源的广度和深度.[方法]首先,将数据库分成多源异构资源装载的数据湖、大数据资源管理、为多元数据服务的大数据应用3部分,将多元异构原始数据导出成csv数据文件,根据文件中每列的内容进入元数据编辑工具录入DataFiles对象信息,使DataFiles中的variable内容和顺序与csv文件的列的内容和顺序对应,达到使用DDI元数据描述统计数据的作用.其次,将数据描述信息导出生成DDI元数据文件,将两两配对的csv数据文件和DDI元数据文件一起提交给数据平台,经过解析识别完成数据入库.再次,用大数据开发方法,引入HBase和Hive技术,结合通用统计业务模型(Generic statistical business process model,GSBPM),将数据库中的数据利用ETL工具进行重新组合或融合形成资源库和应用库,并根据不同的业务场景要求,利用MPP数据库技术工具,满足在线海量数据的实时计算以及离线数据批量计算.最后,根据统计分析需求,利用地理信息系统GIS结合指标体系形成直观、立体、多元化的数据展现及分析场景,形成“统计一张图”.[结果]完成了统计数据和大数据源融合的统计大数据平台架构.[结论]建设统计大数据平台就是建设行政区域内统一的经济、社会和人口宏观,微观数据中台,实现对经济运行数据、社会管理数据和人口分布数据的智能化关联匹配,并能全景式一体化呈现全市经济社会发展状况,具有较强的实用价值和社会效益.创新点为建设统一的数据融合标准体系,并为即将建设的重庆市统计大数据平台提供了理论研究基础.
其他文献
非常规油气资源逐渐成为我国油气产量的重要增长点,其中,致密油是非常规油气研究的热点。鄂尔多斯盆地致密油的勘探开发程度相对滞后,提升致密油勘探开发效率的关键在于优选“甜点”区(段),而刻画“甜点”区(段)的关键在于致密储层的物性分级评价。利用压汞数据、铸体薄片和扫描电镜资料对致密砂岩孔喉结构进行表征,并结合分形理论,建立了适合鄂尔多斯盆地五蛟地区长7段致密砂岩的孔喉分类方案:大孔喉(喉道半径r>0.2μm)、中孔喉(0.08<r≤0.2μm)、小孔喉(0.025≤r≤0.08μm)和微孔喉(r&
针对传统光流技术的无人机视频运动目标检测方法计算效率低等问题,提出一种基于改进光流网络的无人机视频运动目标检测方法。首先利用卷积神经网络分别提取视频序列影像中目标的运动特征,并利用所提取特征进行光流计算;其次通过堆叠网络结构增加网络深度、引入小位移子网络等方法提高光流计算的精度和效率;最后通过光流阈值分割实现运动目标的检测。采用4组不同飞行模式下的无人机视频数据进行实验,实验结果表明,无论是在悬停
水是页岩地层中重要的地质流体,其含量和分布对页岩气丰度和渗流有重要影响。基于湘西南地区某浅层探井龙潭组页岩,开展了氮吸附和水吸附试验,并分析了孔隙结构和页岩组成对水吸附行为的影响。结果表明,一级吸附(水分子直接吸附在特定表面位点上)在低相对湿度时增长快但在高相对湿度时增长趋缓,但是二级吸附(通过水分子之间氢键间接吸附)正好相反。根据Dent模型计算出的单层水吸附容量和总黏土质量分数及总有机碳含量都有较弱正相关性;水吸附得到的比表面积比氮吸附得到的比表面积大(尽管它们之间有一定正相关性),表明水分子和氮分子
华罗庚是蜚声中外的数学家,新中国成立不久,便毅然放弃在美国的优厚待遇回到祖国参加建设.他对中国共产党一往情深,入党的信念坚定不移,为党、为国家、为人民做出了杰出贡献.
期刊
[目的/意义]梳理、总结我国突发事件的应急信息管理工作主要内容及其发展趋势,对于健全我国突发事件应急信息管理机制、及时有效处置各类突发性事件具有一定的参考、借鉴意义
[目的]针对病人进行核磁共振成像预约检查过程中出现的调度与设备维护计划相互影响的问题,提出一种联合优化模型,研究对象是单机系统,多位病人等候进行检查.[方法]考虑到设备
[目的]高速公路充电站位置选择和容量确定对电动汽车应用推广具有重要意义.[方法]针对高速公路充电站选址定容问题,通过引入充电站的平均适配率,即电动汽车的充电需求与当前
[目的/意义]文章梳理国内外信息回避行为研究进展与理论框架,提出现有研究的问题和将来研究的发展方向.[方法/过程]采用文献计量和内容分析法,对信息回避行为研究现状进行全
【目的】目前双向长短期记忆网络(Long short term memory,LSTM)在语音识别、图像识别和情感分类等方面的应用越来越广泛,基于此研究如何提高双向LSTM的准确率。【方法】提出一种改进的双向LSTM,通过对LSTM中输入门与输出门激活函数的改进,并结合改进的学习率,能够大大地提高神经网络的收敛速度与准确率。【结果】在不同领域的数据集MNIST和IMDB上分别进行实验,改进的双向L
在对最新的钻井、岩心及薄片等大量地质解释资料进行综合分析的基础上,深入探讨了川东云安厂地区黄龙组储层特征及孔隙类型。在储集空间类型分析的基础上,依据时间序列及成岩作用改造因素,对储层成因类型进行研究。结果表明,研究区黄龙组储层岩石类型以各类颗粒白云岩、粉晶细晶白云岩及云质岩溶角砾岩为主;孔隙以晶间孔、晶间溶孔、粒内溶孔、粒间溶孔、角砾间溶孔等次生孔隙为主;按储层成因类型来看,可分为保持型储层、溶蚀型储层、云化型储层3大类,且识别出若干储层所组成的复合型储层;按照时间序列及成岩作用改造因素,进一步将溶蚀型储