论文部分内容阅读
摘 要：随着时代的不断发展，对于数据处理平台的需求也越来越高，传统的技术已经无法满足时代的需求，再加之数据处理的难度与标准不断提高，大型数据仓库平台的构件呼之欲出，新技术、新手段的应用进一步的提高了计算机技术。当然目前的计算机技术仍然存在着诸多问题，所以采用云计算技术来构建大型数据仓库平台成为大势所趋。本文首先介绍了大型数据仓库平台的应用现状，并指出了其应用中所面临的问题，再结合云计算技术进行分析，提出了相关的解决策略。
关键词：云计算技术；大型数据仓库平台；现状；对策
中图分类号：TP311.13
随着信息化时代的到来，科技水平不断提高，企业想要获得更大空间的发展，在日益激烈的竞争中脱颖而出，就必须提升自身的信息处理能力，做好数据仓库平台的创建与优化。原有的数据处理平台数据的处理、查询以及准确性上都存在着较大的缺陷，不利于企业的发展，所以必须要提升企业的数据处理能力与技术，引入云技术计算，不断的优化大型数据仓库平台，进而提升企业实力。
1 大型数据仓库平台的构建现状
企业想要更好的掌握运营状况，了解运营成本，就必须加强数据的处理与分析能力，这样才能综合分析公司的各项业务，再经过加工处理将其制成数据报表。特别是近年来经济的飞速发展，企业业务功能日益復杂化，进而使得数据的收集与处理更加的多元化，这样传统的数据处理方式精准性与时效性都无法达到相应的标准，为了更好的提升数据处理的准确性，就需要一个能将数据收集、加工与处理集于一体的平台。
2 云计算技术构建大型数据仓库平台的特点
云计算技术的引入给数据的处理加入了新的力量，符合了资源集聚的需求形成了私有云平台，然后在根据相关的要求标准，引入X 86分布式集群的MPP结构，进而能够更好地促进企业的发展。
2.1 比较SMP架构和MPP架构
SMP是一个较为传统的方式，主要是指在一台电脑上有多个CPU，并带有一组处理器，并且内存能在各个CPU之间共享，但是它的功能与单台计算机一样，每一个处理器都是可以访问内存。再有众多松耦合处理单元组成进而形成了MPP架构。在MPP系统中，CPU都有自带的内存、硬盘与总线。最为典型的代表当属X 86分布式集群。但是SMP与MPP相比还存在着诸多问题，例如扩展性较受限制，并且需要大量的资金来维持其扩展，但是在MPP系统中，因为不能实现资源的共享，所以相对而言资源总数更多，处理能力更强。所以MPP系统的应用会更加的广泛，无论是运行速度还是运行效率都有较大的优势，特别是在处理OLAP大型数据时能够更好的发挥系统的性能。
2.2 MPP系统的技术线路
根据上述分析可以看出MPP系统的巨大优势，所以也需要配以相应的技术线路。具有代表性的有两种。一种是软硬化一体化的线路，它所包括的设施有Teradata一体机、IBM一体机等，性能较高，硬件优化的能力较强，当然其缺陷在于需要支付较高的研发费用。另一种是软件数据库管理系统，主要包括的工具设备有HBASE、EMC Greenplum. Hadoop等，它的组件一般都是使用较为常见的硬件，没有具体的特殊要求。
2.3 MPP云化数据仓库的系统介绍
MPP云化数据仓库系统由三个层面共同组成，构建方案一般较为复杂。首先是能力层，需要2个以上的性能较高的X 86分布式集群主机来组成，该层的主要任务在于发挥其管理职能，很好的调动数据节点，并且提供存储能力池与计算能力池。同时，它还需要由多台X 86存储服务器所构成的数据节点集群，其中网络通信平台也是由性能较高的局域网交换机组成。其次是管理层面，它一方面能够支持SQL语言，能够分布式的管理底层数据，承担好调动功能，从一定程度上减轻底层节点的负载量，另一方面能够实现对关系型数据库的管理。最后是应用层，该层的实用性较强，并且在进行应用分析时能够根据具体情况来运行，主要的基础功能包括多维分析与KPI等等。
2.4 对业务数据进行验证
测量云计算数据方案是否符合标准的主要方式是POC，它不仅能够测算出运行处理的效率，还能够准确的分析出时间的耗费情况，且能够和传统的计算方式进行对比分析，进而更好地优化硬件资源。
3 采用云计算技术构建大型数据仓库平台的优势
首先，采用云技术在分析MPP节点上的数据时能够依据固定的对策来进行，且处理的方式公平合理，使得每个部分的功效能够得到最大化的发挥，这样I/O能力将摆脱主机运行情况的束缚，进而使得数据节点保持正比发展的态势，解决了发展中的瓶颈。如果是数据的需求量有所增大，只需要调动节点，便能够实现对它的扩展。如果是需求量较为平稳，那么只需要在保证过程连续性的情况下，来实现节点的自动分布。其次，引入云计算技术能够省去I/O的操作步骤，只需要经过列存储技术来完成数据的整合，实现数据的聚合存储，很大程度上节省了时间，并且在数据访问频繁的条件下，性能得到了极大的提高，不仅符合了OLAP的应用功能，同时也实现了硬件资源的效益。再次，如果各节点之间的网络宽带较为充裕，那么引入云计算技术，能够更好扩展性能，提升数据的处理能力。据相关数据表明，MPP架构在云技术的支持下，其扩展规模可以达到1000个节点，并且数据的存储能力和存储时间也有巨大的提升。不过云技术所支撑的SQL语言是藏匿于MPP之下的，所以在使用过程中不用进行语言的转换，大大节省了运行时间。最后，引入云计算技术可以更好的保证服务的稳定性，因为它能够通过各个计算节点之间的互换以及同构来实现。其中数据多副本容错机制的引入还能够帮助其降低错误发生的概念，即使某个节点出现了故障，也不会影响整个系统的运行，当然也会对性能产生一定的影响。由此可以看出，在MPP中，性能的指数与节点有较大的关联性，节点过多，容错能力会越好。
4 结束语
根据上述分析不难看出，云计算技术的引入对大型数据仓库平台产生了较为巨大的影响，并且企业的基础设施系统在不断的得到提升，给云计算技术的推广提供了较为丰厚的物质基础，在后期的推广中也会较为顺畅。云计算技术最大的优势在于能够实现弹性化的管理，可进可退，快速伸缩，这样使其更好的符合了大规模节点设备的要求，因此对云计算在大型数据仓库平台中的应用与推广将成为大势所趋。
参考文献：
[1]陈献辉，张治元，刘丽波.基于云计算的数据仓库ETL系统研究与优化[J].湘南学院学报，2014（02）：26-56.
[2]王忠凯，史天运，张惟皎.动车组管理信息系统的云计算支撑平台研究[A].第六届中国智能交通年会暨第七届国际节能与新能源汽车创新发展论坛优秀论文集（上册）——智能交通[C].中国智能交通协会，2011：6.
[3]徐玉.云计算发展推动数据中心转型我国应加强监管积极应对[J].世界电信，2011（11）：14-18+6.
[4]陈煜，王树伟，王冠华.水利工程建设管理云计算平台的研究与实践[A].中国水利学会2013学术年会论文集——S4水利信息化建设与管理[C].中国水利学会，2013：6.
[5]曾令康，李祥珍，欧清海.物联网?云计算在智能电网信息通信调度中的应用[A].2012年电力通信管理暨智能电网通信技术论坛论文集[C].中国通信学会普及与教育工作委员会，2013：4.
作者单位：四川乐山职业技术学院，四川乐山 614000
关键词：云计算技术；大型数据仓库平台；现状；对策
中图分类号：TP311.13
随着信息化时代的到来，科技水平不断提高，企业想要获得更大空间的发展，在日益激烈的竞争中脱颖而出，就必须提升自身的信息处理能力，做好数据仓库平台的创建与优化。原有的数据处理平台数据的处理、查询以及准确性上都存在着较大的缺陷，不利于企业的发展，所以必须要提升企业的数据处理能力与技术，引入云技术计算，不断的优化大型数据仓库平台，进而提升企业实力。
1 大型数据仓库平台的构建现状
企业想要更好的掌握运营状况，了解运营成本，就必须加强数据的处理与分析能力，这样才能综合分析公司的各项业务，再经过加工处理将其制成数据报表。特别是近年来经济的飞速发展，企业业务功能日益復杂化，进而使得数据的收集与处理更加的多元化，这样传统的数据处理方式精准性与时效性都无法达到相应的标准，为了更好的提升数据处理的准确性，就需要一个能将数据收集、加工与处理集于一体的平台。
2 云计算技术构建大型数据仓库平台的特点
云计算技术的引入给数据的处理加入了新的力量，符合了资源集聚的需求形成了私有云平台，然后在根据相关的要求标准，引入X 86分布式集群的MPP结构，进而能够更好地促进企业的发展。
2.1 比较SMP架构和MPP架构
SMP是一个较为传统的方式，主要是指在一台电脑上有多个CPU，并带有一组处理器，并且内存能在各个CPU之间共享，但是它的功能与单台计算机一样，每一个处理器都是可以访问内存。再有众多松耦合处理单元组成进而形成了MPP架构。在MPP系统中，CPU都有自带的内存、硬盘与总线。最为典型的代表当属X 86分布式集群。但是SMP与MPP相比还存在着诸多问题，例如扩展性较受限制，并且需要大量的资金来维持其扩展，但是在MPP系统中，因为不能实现资源的共享，所以相对而言资源总数更多，处理能力更强。所以MPP系统的应用会更加的广泛，无论是运行速度还是运行效率都有较大的优势，特别是在处理OLAP大型数据时能够更好的发挥系统的性能。
2.2 MPP系统的技术线路
根据上述分析可以看出MPP系统的巨大优势，所以也需要配以相应的技术线路。具有代表性的有两种。一种是软硬化一体化的线路，它所包括的设施有Teradata一体机、IBM一体机等，性能较高，硬件优化的能力较强，当然其缺陷在于需要支付较高的研发费用。另一种是软件数据库管理系统，主要包括的工具设备有HBASE、EMC Greenplum. Hadoop等，它的组件一般都是使用较为常见的硬件，没有具体的特殊要求。
2.3 MPP云化数据仓库的系统介绍
MPP云化数据仓库系统由三个层面共同组成，构建方案一般较为复杂。首先是能力层，需要2个以上的性能较高的X 86分布式集群主机来组成，该层的主要任务在于发挥其管理职能，很好的调动数据节点，并且提供存储能力池与计算能力池。同时，它还需要由多台X 86存储服务器所构成的数据节点集群，其中网络通信平台也是由性能较高的局域网交换机组成。其次是管理层面，它一方面能够支持SQL语言，能够分布式的管理底层数据，承担好调动功能，从一定程度上减轻底层节点的负载量，另一方面能够实现对关系型数据库的管理。最后是应用层，该层的实用性较强，并且在进行应用分析时能够根据具体情况来运行，主要的基础功能包括多维分析与KPI等等。
2.4 对业务数据进行验证
测量云计算数据方案是否符合标准的主要方式是POC，它不仅能够测算出运行处理的效率，还能够准确的分析出时间的耗费情况，且能够和传统的计算方式进行对比分析，进而更好地优化硬件资源。
3 采用云计算技术构建大型数据仓库平台的优势
首先，采用云技术在分析MPP节点上的数据时能够依据固定的对策来进行，且处理的方式公平合理，使得每个部分的功效能够得到最大化的发挥，这样I/O能力将摆脱主机运行情况的束缚，进而使得数据节点保持正比发展的态势，解决了发展中的瓶颈。如果是数据的需求量有所增大，只需要调动节点，便能够实现对它的扩展。如果是需求量较为平稳，那么只需要在保证过程连续性的情况下，来实现节点的自动分布。其次，引入云计算技术能够省去I/O的操作步骤，只需要经过列存储技术来完成数据的整合，实现数据的聚合存储，很大程度上节省了时间，并且在数据访问频繁的条件下，性能得到了极大的提高，不仅符合了OLAP的应用功能，同时也实现了硬件资源的效益。再次，如果各节点之间的网络宽带较为充裕，那么引入云计算技术，能够更好扩展性能，提升数据的处理能力。据相关数据表明，MPP架构在云技术的支持下，其扩展规模可以达到1000个节点，并且数据的存储能力和存储时间也有巨大的提升。不过云技术所支撑的SQL语言是藏匿于MPP之下的，所以在使用过程中不用进行语言的转换，大大节省了运行时间。最后，引入云计算技术可以更好的保证服务的稳定性，因为它能够通过各个计算节点之间的互换以及同构来实现。其中数据多副本容错机制的引入还能够帮助其降低错误发生的概念，即使某个节点出现了故障，也不会影响整个系统的运行，当然也会对性能产生一定的影响。由此可以看出，在MPP中，性能的指数与节点有较大的关联性，节点过多，容错能力会越好。
4 结束语
根据上述分析不难看出，云计算技术的引入对大型数据仓库平台产生了较为巨大的影响，并且企业的基础设施系统在不断的得到提升，给云计算技术的推广提供了较为丰厚的物质基础，在后期的推广中也会较为顺畅。云计算技术最大的优势在于能够实现弹性化的管理，可进可退，快速伸缩，这样使其更好的符合了大规模节点设备的要求，因此对云计算在大型数据仓库平台中的应用与推广将成为大势所趋。
参考文献：
[1]陈献辉，张治元，刘丽波.基于云计算的数据仓库ETL系统研究与优化[J].湘南学院学报，2014（02）：26-56.
[2]王忠凯，史天运，张惟皎.动车组管理信息系统的云计算支撑平台研究[A].第六届中国智能交通年会暨第七届国际节能与新能源汽车创新发展论坛优秀论文集（上册）——智能交通[C].中国智能交通协会，2011：6.
[3]徐玉.云计算发展推动数据中心转型我国应加强监管积极应对[J].世界电信，2011（11）：14-18+6.
[4]陈煜，王树伟，王冠华.水利工程建设管理云计算平台的研究与实践[A].中国水利学会2013学术年会论文集——S4水利信息化建设与管理[C].中国水利学会，2013：6.
[5]曾令康，李祥珍，欧清海.物联网?云计算在智能电网信息通信调度中的应用[A].2012年电力通信管理暨智能电网通信技术论坛论文集[C].中国通信学会普及与教育工作委员会，2013：4.
作者单位：四川乐山职业技术学院，四川乐山 614000