论文部分内容阅读
快数据的概念已经不新鲜,但随着物联网的进一步普及和移动互联时代的到来,边缘设备上的数据量和数据处理需求越来越引起人们的重视。而大数据的数量也越来越趋向于无穷大,我们正在进入一个数据极化的时代。快数据和大数据的发展对传统的IT架构提出了新的要求。
在数据极化的全新视角中,快数据是指企业在关键型业务中所需要处理的数据,如实时交易系统数据、在线业务数据、即时运算数据等,这类数据需要实时处理、快速响应,并要求计算存储处理的极致性能、以及零失误。而大数据是指企业所处理的海量数据,其中包含体量巨大的非结构化数据,例如:音频、视频、图像、文本数据等。企业通常需要对于海量数据进行有效存储,同时最大限度进行深入挖掘,才能真正实现将数据负担转变为数据宝藏。
从云计算到雾计算
据一项调查显示,美国2017年智能手机用户预计将达到2.29亿,全世界范围将有接近20亿智能手机用户。随着各种终端设备越来越智能,不仅带来了越来越多的数据,也对数据处理速度产生了新的要求。如果你通过手机来进行导航,手机需要将数据传回云计算的数据中心处理执行,才能实现这些功能。由于无线网和4G的覆盖范围不断加强,让这些数据及时传输成为可能。而这么多设备的涌入,若每一个指令都要回到云中强大的数据处理中心处理,将消耗巨大的带宽。
这时,雾计算的概念产生了。在雾计算架构中,数据、数据处理和应用程序都可以被集中在网络边缘设备当中,而不是全部储存在云里。换句话说,雾计算并非由性能强大的服务器组成,也不具备强大的计算能力,而是由性能相对较弱、更为零散分布的计算设备组成。
人们过去從数据中获得洞察,得到联系,发现模型,进行预测。现在,人们使用数据,找到数据中的共同点,使机器实现自动化。
数据越来越多,使用数据和创建数据的方式越来越多,数据处理的方式也越来越多,使得数据处理逐步从云中已经慢慢地过渡到边缘设备上。一方面,由于对大数据的分析能力逐步提高,数据科学家们研制出越来越多的算法,更好地分析数据,甚至可以实时得出结论。而随着边缘设备拥有了越来越高的智能,新的设备和生态不断涌现,边缘计算也就是雾计算的能力越来越强。
举例来说,比如说信用卡公司可以基于之前的知识积累,预测哪些交易是正常交易,哪些交易存在欺诈可能。可以实现在交易的同时立刻进行决策,判断交易的合法性,对有欺诈可能的交易进行拒绝。
![](https://www.soolun.com/img/pic.php?url=http://img.resource.qikan.cn/qkimages/zgxx/zgxx201704/zgxx20170424-1-l.jpg)
边缘环境为核心的云计算环境提供数据,核心的云计算环境会把越来越多的计算结果用快数据的方式再转回到边缘设备上。比如无人驾驶汽车的传感器会收取周边环境的信息,做出快速决策以保障驾驶安全。
因此,快数据对存储技术方面的需求就是数据要在线保证随时可接入,并且存储环境要有很强的扩展性来满足快速增长的需求。同时,在数据存储时就要保证数据具有很强的可复原性。也就是说不管是数据中心本身,还是数据中心下面的某一个系统,如果产生了数据流失或者数据失灵都能够很快地进行复原。而由于数据量是如此之大,所以数据存储时还要保证较低的成本。
此外,由于边缘设备都是移动性的或者是异形的,要求存储设备具有很强的耐用性和低功耗。而且还要满足边缘环境的不可确定性,即使边缘设备断电数据也没有损失。
数据极化:从大数据到快数据
![](https://www.soolun.com/img/pic.php?url=http://img.resource.qikan.cn/qkimages/zgxx/zgxx201704/zgxx20170424-2-l.jpg)
一方面,快数据对数据存储提出了新的需求。一方面,企业对大数据的处理需求也在进一步升级。
在互联网+时代下,数据正在以超出人们想象的速度爆炸式增长。从移动互联网、到企业私有云及公有云数据平台、再到感知万物的物联网等,数据早已经渗透到各行各业,成为重要的生产要素。面对工作中随时随地产生的海量数据,企业也正在面临着越来越大的挑战,多数企业大都存在着不同程度上的数据处理压力和数据存储困境。据权威调研公司Gartner报告显示,成功的IT数字企业必须采用双重模式来应对数字经济的所带来的挑战:一是安全、高效,二则是灵活、高速。
国家信息中心信息化研究部主任张新红在谈到数据转型时表示,从数据到信息,进而成为知识,再到上升为利用知识改造世界的智慧,我们需要从数据中截取越来越大的价值,而随着这样的转型数据存储的环境也会发生很大变化。
西部数据高级副总裁、数据中心事业部总经理Dave Tang表示,由于快数据和大数据给传统架构带来的挑战,新的数据时代赋予了存储架构新的数据策略。以闪存为例,基于闪存架构的全闪与传统的闪存架构不同,这种全新的架构能够为用户提供更极致的速度更快处理数据。而对于逐渐增长到PG的海量存储来说,传统的架构已经不能满足需求,也需要全新架构。
因此,紫光西部数据近日正式发布了“从快数据到大数据”全方位数据存储解决方案,包括UniverFlash全供应闪存系统、UniverScale分布式云存储系统、UniverStor动态海量存储系统、UniverPlat软件定义存储平台等在内的全线产品。
作为最新一代支持全闪存及混合闪存介质的企业级存储系统,UniverFlash全供应闪存系统通过单一闪存智能平台支持关键业务场景下的所有工作负载。同时,全面提供企业级存储特性,帮助组织消除存储孤岛,简化存储管理,降低成本。在快速、灵活的可靠架构内,无缝支持多种存储介质,运用高效的数据压缩及数据精简算法智能管理数据存放位置,使全新一代闪存系统的性能、容量、效率实现最大化。
基于企业级对象存储技术的UniverStor动态海量存储系统,全面支持公有云及私有云架构,具有易于部署、弹性配置、敏捷可靠等突出优点。单机架裸容量可以从720TB扩展到5.8PB。
基于软件定义的UniverScale分布式云存储系统能够实现快速部署,支持竖向和横向全方位随需拓展,同时广泛兼容多协议海量存储。通过从2个节点无缝动态扩展到上万个节点,可满足EB级存储容量需求、千万级IOPS性能以及百GB级综合带宽需求。同时,UniverScale分布式云存储系统针对对象数据、块数据、文件数据进行统筹优化,通过智能、便捷、友好的单一图形管理界面,实现部署、调配、监控、运维等全部管理操作。
![](https://www.soolun.com/img/pic.php?url=http://img.resource.qikan.cn/qkimages/zgxx/zgxx201704/zgxx20170424-3-l.jpg)
软件定义存储平台UniverPlat能够完美实现用户软件定义创新,广泛支持包括机械硬盘及各类接口协议闪存在内的存储介质,同时支持多形态存储平台供应模式,简化用户运维复杂程度,提升解决方案整体效率。
Dave Tang表示全新的公司没有历史包袱,这次所有推出的产品都是基于最新架构的,希望能够给客户带来极致的体验。
在数据极化的全新架构中,只有存储产品是远远不够的。在成立之初,紫光西部数据就致力于搭建全新的合作伙伴生态体系,紫光西部数据首席执行官缪刚表示,希望把紫光西部数据打造成一个合作共赢的平台,以安全可控自主研发为契机,创造一个整体的生态合作环境。在新产品发布的同时,紫光西部数据还宣布了与新华三集团、Actifio(安特飞)公司、奥思数据科技有限公司、北京启事录技术服务有限公司等五家企业的联合创新实验室正式成立。
同时,紫光西部数据已经全面整合紫光集团各产业单位的协作资源,并在全国范围内联合更加广泛的区域合作伙伴,共同打造更加符合行业用户需求的行业解决方案。
从紫光集团整体来说,紫光整个的愿景是构建从芯到云的产业链,紫光西部数据在整个从芯到云的产业链当中是很重要的一环。在紫光集团内部,产品和技术可以互相合作,以2016年紫光股份有限公司与北京世纪互联宽带数据中心有限公司共同出资组建的紫光互联为例,在紫光互联为客户提供的混合云、私有云以及数据中心项目中都需要大量的存储设备。这对于紫光西部数据来说就是一个机会。
在数据极化的全新视角中,快数据是指企业在关键型业务中所需要处理的数据,如实时交易系统数据、在线业务数据、即时运算数据等,这类数据需要实时处理、快速响应,并要求计算存储处理的极致性能、以及零失误。而大数据是指企业所处理的海量数据,其中包含体量巨大的非结构化数据,例如:音频、视频、图像、文本数据等。企业通常需要对于海量数据进行有效存储,同时最大限度进行深入挖掘,才能真正实现将数据负担转变为数据宝藏。
从云计算到雾计算
据一项调查显示,美国2017年智能手机用户预计将达到2.29亿,全世界范围将有接近20亿智能手机用户。随着各种终端设备越来越智能,不仅带来了越来越多的数据,也对数据处理速度产生了新的要求。如果你通过手机来进行导航,手机需要将数据传回云计算的数据中心处理执行,才能实现这些功能。由于无线网和4G的覆盖范围不断加强,让这些数据及时传输成为可能。而这么多设备的涌入,若每一个指令都要回到云中强大的数据处理中心处理,将消耗巨大的带宽。
这时,雾计算的概念产生了。在雾计算架构中,数据、数据处理和应用程序都可以被集中在网络边缘设备当中,而不是全部储存在云里。换句话说,雾计算并非由性能强大的服务器组成,也不具备强大的计算能力,而是由性能相对较弱、更为零散分布的计算设备组成。
人们过去從数据中获得洞察,得到联系,发现模型,进行预测。现在,人们使用数据,找到数据中的共同点,使机器实现自动化。
数据越来越多,使用数据和创建数据的方式越来越多,数据处理的方式也越来越多,使得数据处理逐步从云中已经慢慢地过渡到边缘设备上。一方面,由于对大数据的分析能力逐步提高,数据科学家们研制出越来越多的算法,更好地分析数据,甚至可以实时得出结论。而随着边缘设备拥有了越来越高的智能,新的设备和生态不断涌现,边缘计算也就是雾计算的能力越来越强。
举例来说,比如说信用卡公司可以基于之前的知识积累,预测哪些交易是正常交易,哪些交易存在欺诈可能。可以实现在交易的同时立刻进行决策,判断交易的合法性,对有欺诈可能的交易进行拒绝。
![](https://www.soolun.com/img/pic.php?url=http://img.resource.qikan.cn/qkimages/zgxx/zgxx201704/zgxx20170424-1-l.jpg)
边缘环境为核心的云计算环境提供数据,核心的云计算环境会把越来越多的计算结果用快数据的方式再转回到边缘设备上。比如无人驾驶汽车的传感器会收取周边环境的信息,做出快速决策以保障驾驶安全。
因此,快数据对存储技术方面的需求就是数据要在线保证随时可接入,并且存储环境要有很强的扩展性来满足快速增长的需求。同时,在数据存储时就要保证数据具有很强的可复原性。也就是说不管是数据中心本身,还是数据中心下面的某一个系统,如果产生了数据流失或者数据失灵都能够很快地进行复原。而由于数据量是如此之大,所以数据存储时还要保证较低的成本。
此外,由于边缘设备都是移动性的或者是异形的,要求存储设备具有很强的耐用性和低功耗。而且还要满足边缘环境的不可确定性,即使边缘设备断电数据也没有损失。
数据极化:从大数据到快数据
![](https://www.soolun.com/img/pic.php?url=http://img.resource.qikan.cn/qkimages/zgxx/zgxx201704/zgxx20170424-2-l.jpg)
一方面,快数据对数据存储提出了新的需求。一方面,企业对大数据的处理需求也在进一步升级。
在互联网+时代下,数据正在以超出人们想象的速度爆炸式增长。从移动互联网、到企业私有云及公有云数据平台、再到感知万物的物联网等,数据早已经渗透到各行各业,成为重要的生产要素。面对工作中随时随地产生的海量数据,企业也正在面临着越来越大的挑战,多数企业大都存在着不同程度上的数据处理压力和数据存储困境。据权威调研公司Gartner报告显示,成功的IT数字企业必须采用双重模式来应对数字经济的所带来的挑战:一是安全、高效,二则是灵活、高速。
国家信息中心信息化研究部主任张新红在谈到数据转型时表示,从数据到信息,进而成为知识,再到上升为利用知识改造世界的智慧,我们需要从数据中截取越来越大的价值,而随着这样的转型数据存储的环境也会发生很大变化。
西部数据高级副总裁、数据中心事业部总经理Dave Tang表示,由于快数据和大数据给传统架构带来的挑战,新的数据时代赋予了存储架构新的数据策略。以闪存为例,基于闪存架构的全闪与传统的闪存架构不同,这种全新的架构能够为用户提供更极致的速度更快处理数据。而对于逐渐增长到PG的海量存储来说,传统的架构已经不能满足需求,也需要全新架构。
因此,紫光西部数据近日正式发布了“从快数据到大数据”全方位数据存储解决方案,包括UniverFlash全供应闪存系统、UniverScale分布式云存储系统、UniverStor动态海量存储系统、UniverPlat软件定义存储平台等在内的全线产品。
作为最新一代支持全闪存及混合闪存介质的企业级存储系统,UniverFlash全供应闪存系统通过单一闪存智能平台支持关键业务场景下的所有工作负载。同时,全面提供企业级存储特性,帮助组织消除存储孤岛,简化存储管理,降低成本。在快速、灵活的可靠架构内,无缝支持多种存储介质,运用高效的数据压缩及数据精简算法智能管理数据存放位置,使全新一代闪存系统的性能、容量、效率实现最大化。
基于企业级对象存储技术的UniverStor动态海量存储系统,全面支持公有云及私有云架构,具有易于部署、弹性配置、敏捷可靠等突出优点。单机架裸容量可以从720TB扩展到5.8PB。
基于软件定义的UniverScale分布式云存储系统能够实现快速部署,支持竖向和横向全方位随需拓展,同时广泛兼容多协议海量存储。通过从2个节点无缝动态扩展到上万个节点,可满足EB级存储容量需求、千万级IOPS性能以及百GB级综合带宽需求。同时,UniverScale分布式云存储系统针对对象数据、块数据、文件数据进行统筹优化,通过智能、便捷、友好的单一图形管理界面,实现部署、调配、监控、运维等全部管理操作。
![](https://www.soolun.com/img/pic.php?url=http://img.resource.qikan.cn/qkimages/zgxx/zgxx201704/zgxx20170424-3-l.jpg)
软件定义存储平台UniverPlat能够完美实现用户软件定义创新,广泛支持包括机械硬盘及各类接口协议闪存在内的存储介质,同时支持多形态存储平台供应模式,简化用户运维复杂程度,提升解决方案整体效率。
Dave Tang表示全新的公司没有历史包袱,这次所有推出的产品都是基于最新架构的,希望能够给客户带来极致的体验。
在数据极化的全新架构中,只有存储产品是远远不够的。在成立之初,紫光西部数据就致力于搭建全新的合作伙伴生态体系,紫光西部数据首席执行官缪刚表示,希望把紫光西部数据打造成一个合作共赢的平台,以安全可控自主研发为契机,创造一个整体的生态合作环境。在新产品发布的同时,紫光西部数据还宣布了与新华三集团、Actifio(安特飞)公司、奥思数据科技有限公司、北京启事录技术服务有限公司等五家企业的联合创新实验室正式成立。
同时,紫光西部数据已经全面整合紫光集团各产业单位的协作资源,并在全国范围内联合更加广泛的区域合作伙伴,共同打造更加符合行业用户需求的行业解决方案。
从紫光集团整体来说,紫光整个的愿景是构建从芯到云的产业链,紫光西部数据在整个从芯到云的产业链当中是很重要的一环。在紫光集团内部,产品和技术可以互相合作,以2016年紫光股份有限公司与北京世纪互联宽带数据中心有限公司共同出资组建的紫光互联为例,在紫光互联为客户提供的混合云、私有云以及数据中心项目中都需要大量的存储设备。这对于紫光西部数据来说就是一个机会。