通用电子表格数据入库方法研究

来源 :网络与信息 | 被引量 : 0次 | 上传用户:bengouwa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  1 引言
  
  在数据仓库建设过程中,经常遇到无信息系统进行管理的制式EXCEL报表数据。这类数据入库常采用以下两种方法:一是开发新的信息系统重新录入数据;二是借助第三方工具,如SQLLDR、POWERBUILDER、PL/SQL DEVELOPER等导入。方法1数据重复录入,工作量大;方法2简单,速度快,但无法解决下面三个问题:
  一是名称转代码问题。通常,报表只提供单位或物资名称,而名称不利于信息的查询、维护,必须转换为代码;
  二是名称与代码间的多对一映射问题。同一单位或物资在不同的报表中极有可能出现名称不一致现象,如何将其映射到同一代码也是直接导入无法解决的问题;
  三是交叉报表数据无法直接入库。我们在详细分析各业务部门提供的EXCEL电子表格的基础上,对其进行了准确的类别划分,通过二级映射机制,设计了C/S结构的通用数据采集工具,很好地解决了此类数据的入库问题。
  
  2 电子表格文档分类
  
  EXCEL电子表格可分为三种主要样式:
  行列式:电子表格中的行和数据库表中的记录一一对应,列与数据库表中的字段一一对应。
  卡片式:每一页(SHEET)对应库中的一条记录(RECORD),单元格对应数据库表中某一行中的某一字段。
  交叉式:电子表格中的一行应转换为数据库表中的多行。
  
  3 设计思想
  
  针对这三种主要表格样式,以通用性、易用性为指导思想,通过“两级映射”机制,即EXCEL文件到数据库表的映射、行列到表字段的映射,映射表结构见表1、表2,设计了相应的数据采集工具。
  


  3.1 数据采集总体流程
  
  数据采集总体流程如下:
  (1)维护文件映射表和字段映射表;
  (2)数据采集是否结束,结束转(7),否则转(3);
  (3)判断表格形式,如为行列式,进入(5);如为卡片式进入(6);如为交叉表进入(7);
  (4)行列式信息采集,转(3);
  (5)卡片式信息采集,转(3);
  (6)交叉表信息采集,转(3);
  (7)采集结束。
  
  3.2 行列式信息采集
  
  由于行列式报表与数据库表在结构上的一致性,采集相对简单,只需注意以下三点:
  真实数据从第几行开始;确定需要进行代码转换的列;确定列的代码转换类型。
  
  3.3 卡片式信息采集
  
  卡片式信息采集算法如下:
  (1)确定文件中的卡片总数CNT,该数即为将入库的记录数;
  (2)循环变量I初始化为1;
  (3)I大于CNT,转(8),否则转(5);
  (4)将第I张卡片信息读入临时数组;
  (5)名称转代码处理;
  (6)数据入库;
  (7)I增1,转(3);
  (8)数据采集结束。
  
  3.4 交叉表信息采集
  
  为节省篇幅,仅给出算法基本思想:
  扫描EXCEL文档确定入库数据的总行数和总列数;初始化行指针和列指针;列指针为外层循环,行指针为内层循环,开始遍历数据,同时进行有效性检查和代码转换,有效数据入库,对无效数据记录精确到行列的出错信息,直至数据处理完毕。
  
  4 结束语
  
  论文介绍的方法很好地解决了EXCEL数据直接入库所不能解决的三个问题,而且在很大程度上减轻了信息录入人员的工作量。该方法在我室主研的某数据仓库项目中发挥了很大的作用。
其他文献
建设背景随着教育信息化的深入发展,校园网应用类型出现了更加多样化的形式,网络课程、远程教学、视频点播等新型教学方式不断涌现。而数据类型的多媒体化,互联网文件下载,资料的
从手机近几年的走势来看,智能化是手机发展的一大潮流。智能手机可以通过安装软件扩展功能,这是非智能手机所不能比拟的。目前市场上可供选购的智能手机型号比较多,价格涉及高中低端三个层次,从数量到价格上基本能够满足消费者的需求。然而,智能手机更新换代的速度相当快,新款的智能手机往往具备最新版本的操作系统和全新的设计,成为智能手机爱好者追逐的目标。今天向大家推荐四款值得期待的智能手机。喜欢尝鲜的你不妨来看看
介绍了一种除氧器水箱吊装时引拖梁的设计和引拖方式,这是非常经济而适用的设计方法,可以满足从135~1 000 MW机组的除氧器水箱的施工要求.实用结果表明,该方法具有很好的通用
近日,苹果电脑CEO史蒂夫·乔布斯(Steve Jobs)推出了可以存储大约100首歌曲的手机iPhone,以及一款厚度同铅笔相当的iPod音乐播放器。
近日,第九届软件博览会在北京国展中心如期举办。国内外诸多知名软件企业参加了此次软博会,其中国内OCR领域的领导厂商交通信息在本次软博会上全面展示了其全线产品,其中文通鉴
金土工程实施的目标是形成“天上看、地上查、网上管”的国土资源管理运行体系.基础数据库的整合建设是金土工程的一个重要组成部分.本文通过分析国土资源数据库的现状,探讨金土
介绍了清洁发展机制及其在我国的发展现状,阐述了该机制下我国相关项目,特别是秸秆发电项目的国际融资机遇,分析了秸秆发电项目申报清洁发展机制的标准、额外性、基准线和项
随着我国电力体制改革的不断深入,原有的行业保护及地方政府保护将逐步被更完全的市场竞争所替代,火电施工企业将面临新的生存、发展问题。以浙江省火电建设公司为例,分析了企业
全面预算管理过程是一个管理循环过程,它包括预算编制、预算执行、预算控制、预算考评4个环节,各环节管理质量的高低导致了预算实施结果的差异.从4个环节入手,讨论了各管理环
秦皇岛开发区省重点项目哈动力出海口基地,继2004年一期工程正式投产后,于2006年4月10日以百万千瓦级核岛主设备生产基地为重点的二期工程正式破土兴建。标志着我省在核电的开