论文部分内容阅读
摘 要：随着科技的发展，数据仓库技术不断成熟。本文分析了基于大数据的企业级数据仓库的性能，并根据目前应用大数据存在的问题，提出了改进的优化的策略，希望能够为相关的工作提供借鉴和参考。
关键词：大数据 企业级 数据仓库 性能 組件 迁移 开发
目前，传统的数据库技术在应用的过程中常常会出现一系列的问题，满足不了企业的需求，而随着大数据技术的不断成熟，将大数据与数据仓库相互融合，能起到很好的效果。
一、基于大数据的企业级数据仓库性能分析
数据仓库的基本任务是数据获取、存储以及管理，典型的数据仓库结构有四个级别：早期细节、目前细节、轻度综合以及高度综合。每个数据都是经过集成处理后，优先进入目前细节级，之后根据情况再选择级别。基于大数据的企业级数据仓库的性能有以下几方面：第一，能够实现海量数据的存储，同时方便联机查询，能够做到将企业的数据集中在一个平台上。第二，能够形成业务统计表，并且进行数据的多维分析，细化业务的群体等，通过实验建模，能够做到业务预测。第三，根据决策树、推理法以及风险防范等，能够实现自动化管理以及人机互动，同时通过深度学习，融合先进的识谱和演化技术，提炼有用信息。典型的大数据处理技术是Hadoop，明显克服了传统数据库的局限性，并且成为目前企业级数据仓库的基础组件。
二、企业级数据仓库应用大数据的问题
目前，大数据在企业级数据仓库方面的应用存在诸多问题：第一方面，大数据的应用还主要停留在技术层面，虽然能够提供技术指导，但是如何运用还需要不断探索，我国已经有一些互联网企业运用大数据，并且取得了成功，可是传统企业在应用大数据上还没有先例，而且大数据技术的开发和维护成本较高，导致应用迟迟得不到展开。第二方面，大数据是一把双刃剑，虽然目前Hadoop的框架应用比较成熟，但是也有不小的缺点，因为Hadoop处理海量数据的时候能够得心应手，但是面对少量的数据时，却远远不及关系型数据库那样灵活，而且不能及时响应和反馈，设计比较麻烦，所以对于一些小型企业，应用大数据可能会适得其反。第三方面，大数据技术并不安全，因为大数据是一种新兴技术，相应的安全问题并没有得到重视和解决，尤其是一些基础设施，并不完善，比如Hadoop这种框架的安全性极低，相应的隐私保护并没有落实和形成有效的监管。而且，大数据的影响和作用还有待确定，由于大数据的应该基础是海量数据，也就是要充分挖掘这些信息中的隐含价值，也就是要对各个信息进行处理，那么是否每一个信息都很重要，而且信息处理的准确性如何评价，对于决策的影响是否科学，这些都有一定的博弈空间，加上成本较高，利润回收较慢，市场上对于大数据的应用也是持观望态度。
三、基于大数据的企业级数据仓库性能调优的策略
1.迁移关键应用。新型的数据仓库分为在线数据和历史数据两种，在线数据通过对原有数据进行重构，从而提供更多的业务数据，帮助构建高效的业务模型，而历史数据能够为用户提供数据查询的功能，做好服务接口的迁移。关键应用的目标是实现标准化的数据切换，包括数据移植、在线数据处理、历史数据存储以及标准化四部分。通过利用Sqoop技术，将数据仓库的数据调入到hdfs系统中，之后大数据平台上对这些数据进行映射，从而查询到数据信息，做好备份，必要时可以进行还原处理。在线数据处理需要使用特定的平台，将源数据的缓冲层作为接入层，并且存入基础数据平台，进行初步清理之后，按照数据模型，分析数据情况。而历史数据平台则与在线数据平台一致，之后进行数据连接和调整参数配置，实现大数据平台数据的标准化迁移。
2.注重模型开发。一般而言，公共数据模型的构建需要统一进行管理，从而扩大项目资源，避免重复现象，并对应用的方向进行规范，尤其是能够满足市场的需求，促进新技术的不断更新和升级。在具体的开发过程中，需要总体规划，逐层实施，根据数据模型，结合延展性和安全性等因素，提供决策支持。对于公共模型的开发，其数据获得方式主要有三种：行业内部数据、行业外部数据以及同业数据，最主要的是行业内部数据，包括行业内部的业务、管理以及维护等，而行业外部和同业数据指的是规模、风险以及舆情等。
3.开发专业数据。通过开发专业数据，能够保证管理正常运转，尤其是决策管理，利用大数据平台，能够实时监控，发挥存储的优势，并且对这些专业数据进行探索，找到计算方法，能够为实践提供指导，特别是一些数据的隐性价值，能够得到开发和利用，同时对于业务部门的决策，能够模拟和总结，从而找到科学的依据和参考。
四、结语
综上所述，大数据成作为一种新兴的技术，应用前景十分广阔，而企业在发展的过程中需要面临诸多数据分析方面的问题，通过在数据仓库技术中应用大数据，能够帮助企业更好地应对挑战，实现统一的管理，从而提升企业效益。
参考文献：
[1]曹江辉，齐燕海.大数据时代的数据仓库建设[J].广播电视信息，2015
[2]赵 毅.基于大数据平台构建数据仓库的研究与实践[J].中国金融电脑，2017
作者简介：花梦颖（1987—）女，汉族，江苏如东县人，贵州食品工程职业学院，助理讲师，本科/学士，主要研究方向：物流管理
关键词：大数据 企业级 数据仓库 性能 組件 迁移 开发
目前，传统的数据库技术在应用的过程中常常会出现一系列的问题，满足不了企业的需求，而随着大数据技术的不断成熟，将大数据与数据仓库相互融合，能起到很好的效果。
一、基于大数据的企业级数据仓库性能分析
数据仓库的基本任务是数据获取、存储以及管理，典型的数据仓库结构有四个级别：早期细节、目前细节、轻度综合以及高度综合。每个数据都是经过集成处理后，优先进入目前细节级，之后根据情况再选择级别。基于大数据的企业级数据仓库的性能有以下几方面：第一，能够实现海量数据的存储，同时方便联机查询，能够做到将企业的数据集中在一个平台上。第二，能够形成业务统计表，并且进行数据的多维分析，细化业务的群体等，通过实验建模，能够做到业务预测。第三，根据决策树、推理法以及风险防范等，能够实现自动化管理以及人机互动，同时通过深度学习，融合先进的识谱和演化技术，提炼有用信息。典型的大数据处理技术是Hadoop，明显克服了传统数据库的局限性，并且成为目前企业级数据仓库的基础组件。
二、企业级数据仓库应用大数据的问题
目前，大数据在企业级数据仓库方面的应用存在诸多问题：第一方面，大数据的应用还主要停留在技术层面，虽然能够提供技术指导，但是如何运用还需要不断探索，我国已经有一些互联网企业运用大数据，并且取得了成功，可是传统企业在应用大数据上还没有先例，而且大数据技术的开发和维护成本较高，导致应用迟迟得不到展开。第二方面，大数据是一把双刃剑，虽然目前Hadoop的框架应用比较成熟，但是也有不小的缺点，因为Hadoop处理海量数据的时候能够得心应手，但是面对少量的数据时，却远远不及关系型数据库那样灵活，而且不能及时响应和反馈，设计比较麻烦，所以对于一些小型企业，应用大数据可能会适得其反。第三方面，大数据技术并不安全，因为大数据是一种新兴技术，相应的安全问题并没有得到重视和解决，尤其是一些基础设施，并不完善，比如Hadoop这种框架的安全性极低，相应的隐私保护并没有落实和形成有效的监管。而且，大数据的影响和作用还有待确定，由于大数据的应该基础是海量数据，也就是要充分挖掘这些信息中的隐含价值，也就是要对各个信息进行处理，那么是否每一个信息都很重要，而且信息处理的准确性如何评价，对于决策的影响是否科学，这些都有一定的博弈空间，加上成本较高，利润回收较慢，市场上对于大数据的应用也是持观望态度。
三、基于大数据的企业级数据仓库性能调优的策略
1.迁移关键应用。新型的数据仓库分为在线数据和历史数据两种，在线数据通过对原有数据进行重构，从而提供更多的业务数据，帮助构建高效的业务模型，而历史数据能够为用户提供数据查询的功能，做好服务接口的迁移。关键应用的目标是实现标准化的数据切换，包括数据移植、在线数据处理、历史数据存储以及标准化四部分。通过利用Sqoop技术，将数据仓库的数据调入到hdfs系统中，之后大数据平台上对这些数据进行映射，从而查询到数据信息，做好备份，必要时可以进行还原处理。在线数据处理需要使用特定的平台，将源数据的缓冲层作为接入层，并且存入基础数据平台，进行初步清理之后，按照数据模型，分析数据情况。而历史数据平台则与在线数据平台一致，之后进行数据连接和调整参数配置，实现大数据平台数据的标准化迁移。
2.注重模型开发。一般而言，公共数据模型的构建需要统一进行管理，从而扩大项目资源，避免重复现象，并对应用的方向进行规范，尤其是能够满足市场的需求，促进新技术的不断更新和升级。在具体的开发过程中，需要总体规划，逐层实施，根据数据模型，结合延展性和安全性等因素，提供决策支持。对于公共模型的开发，其数据获得方式主要有三种：行业内部数据、行业外部数据以及同业数据，最主要的是行业内部数据，包括行业内部的业务、管理以及维护等，而行业外部和同业数据指的是规模、风险以及舆情等。
3.开发专业数据。通过开发专业数据，能够保证管理正常运转，尤其是决策管理，利用大数据平台，能够实时监控，发挥存储的优势，并且对这些专业数据进行探索，找到计算方法，能够为实践提供指导，特别是一些数据的隐性价值，能够得到开发和利用，同时对于业务部门的决策，能够模拟和总结，从而找到科学的依据和参考。
四、结语
综上所述，大数据成作为一种新兴的技术，应用前景十分广阔，而企业在发展的过程中需要面临诸多数据分析方面的问题，通过在数据仓库技术中应用大数据，能够帮助企业更好地应对挑战，实现统一的管理，从而提升企业效益。
参考文献：
[1]曹江辉，齐燕海.大数据时代的数据仓库建设[J].广播电视信息，2015
[2]赵 毅.基于大数据平台构建数据仓库的研究与实践[J].中国金融电脑，2017
作者简介：花梦颖（1987—）女，汉族，江苏如东县人，贵州食品工程职业学院，助理讲师，本科/学士，主要研究方向：物流管理