科研成果多维分析中ETL系统的设计与开发

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:yt66896915
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
以国家自然科学基金为主、各行业和地方科学基金为辅的基金体系的成立,对稳定我国基础研究力量,推动科学事业的发展起到了重大作用。为了发挥基金项目的作用,制定科技发展目标,基金管理决策者经常要对一些科研成果进行统计分析,包括成果质量、成果结构、基金投入与产出、科研单位科研情况比较分析等等。因此需要结合数据仓库和OLAP技术构建科研成果多维分析系统。这些OLTP历史数据大多分散且异构,需要进行整合,期望可以从中获得更多有用的信息。然而,当前所使用的ETL工具虽然在性能上提供了很好的解决方案,但是在普及时因其通用性和造价却碰到了不少困难。人们逐渐意识到自主研发适合自己业务的ETL系统的重要性。为解决分析工作的数据抽取问题,本文构建了科研多维分析中ETL系统。该系统具有良好的扩展性,有好的用户界面,创新性的改进了传统ETL系统的架构,使数据可以批量加载,提高了效率,减轻了OLTP系统的负担,而且,该系统把所有跟数据抽取有关的数据以元数据的形式保存在元数据库中,使抽取程序灵活的适应具体业务逻辑的变化,不会因为具体的业务改变抽取程序,并且实现了数据仓库增量数据的添加。本文首先分析数据仓库和ETL的概念,指出了构建ETL系统的必要性。接着对该系统的整体框架进行了改进和设计,并在该框架下提出了元数据控制的ETL系统的解决方案,讨论了数据追加的实现方法。最后,介绍了该系统在“科研成果多维分析系统”的数据仓库工程中得到的项目实践。
其他文献
行波管属于微波管,它是微波通信领域中一种非常重要的器件。针对目前行波管测试电源的应用需求,我们在导师的指导下,对行波管电源进行研究,我专门研究了其中的螺旋线电源,设计了基于PWM调制型半桥式开关电源,并且应用单片机进行控制和显示,实现了输出电压高分辨率连续可调,且具有低纹波、高稳定度。本论文分别对EMI滤波电路、可控硅预调压电路、半桥开关变换电路、PWM调控电路、整流滤波电路、驱动及保护电路、测温
半马尔可夫跳变过程作为描述更接近于实际工程问题的数学模型,有着极高的实际应用价值和深厚的物理背景。其研究出来的成果与控制工程中的相关问题密切关联,已经得到了国内外广
HAZID(Hazard Identification),即危险辨识。现今,国内外已经开发出来的危险辨识方法有几十种之多。其中,危险与可操作性研究(Hazardand Operability Study,HAZOP)是应用较为
近年来,磁悬浮技术以其独特的优点越来越被重视,随着电子技术、控制理论、电磁理论及新型电磁材料的发展和转子动力学的发展,磁悬浮技术取得了长足的进步。本文以磁悬浮球装
前言我县春末夏初升温快,气候干燥、多风,小麦常因灌浆期受干热风的危害而造成减产。营造防护林对小麦干热风有一定的防御效果,而不同地区不同林带结构防御小麦干热风的效益
日益激烈的市场竞争和日趋复杂的生产过程,促进了企业将信息技术、计算机技术、智能控制等先进技术引入生产过程控制之中,为企业实现现代化质量管理与质量保证奠定了基础。随着计算机集成技术,数据采集技术的发展,统计过程控制已经成为自动化领域的一个重要的发展方向。本文首先简介了在质量控制系统中的过程定义及控制图,阐明了控制系统中过程控制的复杂性。统计过程控制的基本元素是控制图,控制图的自动识别是统计过程自动控
在新课程改革的形势下,为适应社会主义现代化建设对人才素质的全面要求,着力引导学生全面素质的提高和创新人才的培养,根据我班的实际情况,我在课堂教学上突出体现以下几点:
(一) 1974年以来,我们把选育适宜广东亚热带生态条件早熟稳产的小麦新品种作为主攻方向,相应地确定了早熟、抗病、耐湿、稳产丰产的综合性育种目标。根据育种目标,利用1974
近年来,随着化肥用量的增加,超过一定用量后,每单位重量化肥所能增收的农产品数量有明显下降的现象,其主要原因是各营养元素间施用比例失调。掌握各类田的化肥施用的经济合
气体绝缘金属封闭开关设备(GIS)由于其运行可靠性很高、不受大气压条件影响,面积占地小等特点,广泛地应用于变电站中。由于GIS内部六氟化硫(SF6)气体压力高,一旦发生事故,不但对自