论文部分内容阅读
摘 要:大数据与云计算平台的应用是信息技术界的革命,目前,大数据和云计算平台已经在电子商务、医疗、物流等领域得到了应用,对于经济发展的促进作用不言而喻。本文就这一技术的应用方式展开分析。
关键词:大数据;云计算平台;应用
随着世界互联网的飞速发展,大数据已经成为社会一项重要的指导性工具。大数据时代的到来也成为人类历史发展的一个重要里程碑。大数据是一种规模很大的数据集合,超出了传统数据库软件工具的能力范围,需要多台计算机进行数据的分布式处理。在当今时代,“大数据”已经开始成为许多行业的关注焦点,应用大数据,可以有效提升信息处理速度与质量,为企业创造出更多的利润,提高企业数据决策的质量。目前,我们迎来了“大数据”时代,云计算平台作为大数据正常采集和处理的基础,对于大数据的使用效果有直接的影响,但是,就目前来看,大數据与云计算平台的应用研究,却还没有得到应有的关注,其研究水平和实际应用还处在一个初级阶段,随着大数据时代的发展,关于大数据和云计算平台的应用也开始受到了各个领域的关注。
1 大数据和云计算平台的基本概念
大数据是一项涵盖多种技术领域的综合性概念,是指难以在特定时间内应用常规软件对内容进行管理、处理的数据集合,根据IBM的定义,大数据的理念由4个V组成,即多样性(Variety)、大量化(Volume)、快速化(Velocity)与由此生成的价值(Value)。大数据包含了庞大的信息数据类型,传统的技术设备和手段已经满足不了人们对这些数据集的收集,处理,使用要求。云计算平台具备强大的计算能力、庞大的储存量、及时的交互性,可以在短时间内处理大量数据,云计算平台还能通过网络利用多台计算机对海量的数据同时进行处理操作,组成一个可以负担庞大数据处理量和复杂计算的平台,能够有效提高密集型数据的计算处理速度,满足了现代社会人们对于数据信息的使用需求。
2 大数据与云计算平台的优势分析
2.1 基于云计算的大数据平台优点分析
传统单机处理模式越来越难以满足现阶段用户对于数据信息的处理要求,存在成本较高、处理速度有限、无法进行扩展处理的问题。基于云计算技术构建而成的大数据平台可以完美解决上述问题,并且能够针对不同的客户做出更安全、高效、便捷的处理方案,满足用户对于大数据的使用要求,对于提高数据应用效率、保障数据的准确性上,起着积极的作用。
大数据背景下的云计算平台具有综合性的特征,其核心技术是虚拟化技术、大容量数据存储技术与管理编程技术。面对现代社会各领域对数据量和数据类型的要求,云计算平台的应用可以有效发挥出技术平台对密集型数据处理的优势。
云计算平台处理性能更高,实现了对数据的高效、快速处理与调用。还可以根据用户的要求在实际运用中发挥出弹性处理和及时调配的优势,最大程度的满足不同客户对数据处理的需要。以云计算为核心的数据处理平台与其他系统具有良好的兼容性,在数据处理方面更加稳定,能应对复杂的处理环境。基于云计算的数据处理平台与大数据相辅相成,互相促进,在各个领域的业务运行软件处理与管理系统中,发挥着不可忽视的作用。
2.2 基于云计算的大数据平台应用分析
2.2.1 Hadoop
Hadoop是现阶段技术最为成熟的大数据平台,主要应用在企业的数据处理系统中,Hadoop成本低廉、处理方式简单,在电子商务软件、企业管理系统搜索软件的应用中有重要的价值。代表性的有淘宝交易平台、百度搜索等,可以直接根据用户的要求来收集、分析、处理数据库中的数据信息,为用户提供所需信息,满足用户的需求。此外,借助于 Hadoop平台,可以实现数据存储、网络信息处理,满足用户的高层次需求。最早应用Hadoop平台的就是淘宝网,Hadoop平台的应用可以最大限度的提升数据处理准确性以及交易的安全可靠性。
2.2.2 Spark
与Hadoop相比,Spark技术的信息挖掘、处理、分析能力更强,有效提高了数据的处理速度与处理精度,多应用在视频软件与信息通讯软件中。以信息通讯软件的应用为例,Spark充分利用云计算的优势提高了数据处理能力,满足了新时期人们的通讯需求。除此之外,Spark还可以应用在迭代图支持、商业数据处理上,尤其是在商业数据处理上,更具优势。
2.3 信息安全技术的应用
大数据与云计算平台不仅需要满足用户的数据信息处理要求,还需要为用户提供一个安全的系统环境,能够甄别采集的信息来源,对收集的信息进行合理的判断,阻断不安全,不合法或者无效的信息,保证有效信息的完整存储,避免受到外界破坏,防止有效信息因为意外因素出现损坏和丢失的问题。关于数据的安全问题,目前大数据与云计算平台还存在一些漏洞,数据丢失问题屡见不鲜,不仅给用户造成了损失,也影响了相关技术的有序发展,因此,各个国家也针对大数据的安全问题展开了深入的研究,也取得了初步的成果,部分技术已经开始投入使用,有效提高了数据存储的安全性。
3 结语
基于云计算技术的数据平台保证了大技术在实际中的应用效果,大数据的庞大信息存储量、快速的分析速度也充分发挥出了云计算的优势,两者相辅相成,有机融合。随着计算机互联网的规模化、普及化运用,大数据与云计算平台将迎来更多的机遇与更高的要求。
参考文献:
[1]吴凯峰,刘万涛,李彦虎,苏伊鹏,肖政,裴旭斌,虎嵩林.基于云计算的电力大数据分析技术与应用[J].中国电力,2015(02).
[2]范素娟,田军锋.基于Hadoop的云计算平台研究与实现[J].计算机技术与发展,2016(07).
[3]谢智明.云计算平台的设计与实践[J].湖南科技学院学报,2016(10).
关键词:大数据;云计算平台;应用
随着世界互联网的飞速发展,大数据已经成为社会一项重要的指导性工具。大数据时代的到来也成为人类历史发展的一个重要里程碑。大数据是一种规模很大的数据集合,超出了传统数据库软件工具的能力范围,需要多台计算机进行数据的分布式处理。在当今时代,“大数据”已经开始成为许多行业的关注焦点,应用大数据,可以有效提升信息处理速度与质量,为企业创造出更多的利润,提高企业数据决策的质量。目前,我们迎来了“大数据”时代,云计算平台作为大数据正常采集和处理的基础,对于大数据的使用效果有直接的影响,但是,就目前来看,大數据与云计算平台的应用研究,却还没有得到应有的关注,其研究水平和实际应用还处在一个初级阶段,随着大数据时代的发展,关于大数据和云计算平台的应用也开始受到了各个领域的关注。
1 大数据和云计算平台的基本概念
大数据是一项涵盖多种技术领域的综合性概念,是指难以在特定时间内应用常规软件对内容进行管理、处理的数据集合,根据IBM的定义,大数据的理念由4个V组成,即多样性(Variety)、大量化(Volume)、快速化(Velocity)与由此生成的价值(Value)。大数据包含了庞大的信息数据类型,传统的技术设备和手段已经满足不了人们对这些数据集的收集,处理,使用要求。云计算平台具备强大的计算能力、庞大的储存量、及时的交互性,可以在短时间内处理大量数据,云计算平台还能通过网络利用多台计算机对海量的数据同时进行处理操作,组成一个可以负担庞大数据处理量和复杂计算的平台,能够有效提高密集型数据的计算处理速度,满足了现代社会人们对于数据信息的使用需求。
2 大数据与云计算平台的优势分析
2.1 基于云计算的大数据平台优点分析
传统单机处理模式越来越难以满足现阶段用户对于数据信息的处理要求,存在成本较高、处理速度有限、无法进行扩展处理的问题。基于云计算技术构建而成的大数据平台可以完美解决上述问题,并且能够针对不同的客户做出更安全、高效、便捷的处理方案,满足用户对于大数据的使用要求,对于提高数据应用效率、保障数据的准确性上,起着积极的作用。
大数据背景下的云计算平台具有综合性的特征,其核心技术是虚拟化技术、大容量数据存储技术与管理编程技术。面对现代社会各领域对数据量和数据类型的要求,云计算平台的应用可以有效发挥出技术平台对密集型数据处理的优势。
云计算平台处理性能更高,实现了对数据的高效、快速处理与调用。还可以根据用户的要求在实际运用中发挥出弹性处理和及时调配的优势,最大程度的满足不同客户对数据处理的需要。以云计算为核心的数据处理平台与其他系统具有良好的兼容性,在数据处理方面更加稳定,能应对复杂的处理环境。基于云计算的数据处理平台与大数据相辅相成,互相促进,在各个领域的业务运行软件处理与管理系统中,发挥着不可忽视的作用。
2.2 基于云计算的大数据平台应用分析
2.2.1 Hadoop
Hadoop是现阶段技术最为成熟的大数据平台,主要应用在企业的数据处理系统中,Hadoop成本低廉、处理方式简单,在电子商务软件、企业管理系统搜索软件的应用中有重要的价值。代表性的有淘宝交易平台、百度搜索等,可以直接根据用户的要求来收集、分析、处理数据库中的数据信息,为用户提供所需信息,满足用户的需求。此外,借助于 Hadoop平台,可以实现数据存储、网络信息处理,满足用户的高层次需求。最早应用Hadoop平台的就是淘宝网,Hadoop平台的应用可以最大限度的提升数据处理准确性以及交易的安全可靠性。
2.2.2 Spark
与Hadoop相比,Spark技术的信息挖掘、处理、分析能力更强,有效提高了数据的处理速度与处理精度,多应用在视频软件与信息通讯软件中。以信息通讯软件的应用为例,Spark充分利用云计算的优势提高了数据处理能力,满足了新时期人们的通讯需求。除此之外,Spark还可以应用在迭代图支持、商业数据处理上,尤其是在商业数据处理上,更具优势。
2.3 信息安全技术的应用
大数据与云计算平台不仅需要满足用户的数据信息处理要求,还需要为用户提供一个安全的系统环境,能够甄别采集的信息来源,对收集的信息进行合理的判断,阻断不安全,不合法或者无效的信息,保证有效信息的完整存储,避免受到外界破坏,防止有效信息因为意外因素出现损坏和丢失的问题。关于数据的安全问题,目前大数据与云计算平台还存在一些漏洞,数据丢失问题屡见不鲜,不仅给用户造成了损失,也影响了相关技术的有序发展,因此,各个国家也针对大数据的安全问题展开了深入的研究,也取得了初步的成果,部分技术已经开始投入使用,有效提高了数据存储的安全性。
3 结语
基于云计算技术的数据平台保证了大技术在实际中的应用效果,大数据的庞大信息存储量、快速的分析速度也充分发挥出了云计算的优势,两者相辅相成,有机融合。随着计算机互联网的规模化、普及化运用,大数据与云计算平台将迎来更多的机遇与更高的要求。
参考文献:
[1]吴凯峰,刘万涛,李彦虎,苏伊鹏,肖政,裴旭斌,虎嵩林.基于云计算的电力大数据分析技术与应用[J].中国电力,2015(02).
[2]范素娟,田军锋.基于Hadoop的云计算平台研究与实现[J].计算机技术与发展,2016(07).
[3]谢智明.云计算平台的设计与实践[J].湖南科技学院学报,2016(10).