大数据推动IT基础架构的创新

来源 :计算机世界 | 被引量 : 0次 | 上传用户:yangdod
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  大数据改变了人们对于数据结果的认识,抛却了对数据精确的要求,而更注重结果的“明确”和“准确”。比如,很多电商或商业企业利用大数据来优化自己的库存,在构建这个应用的同时,必须把商品需求弹性的问题考虑进去,如果想很有效地控制成本,还需要考虑产品的供给弹性,否则很难做到“明确”和“准确”。为实现这一目的,要求底层的IT基础架构必须有足够的弹性,而且足够灵活,可以支持应用的创新。新一代的基础架构应该由商业环境的复杂性和大数据使用者对于创新应用的不断探索共同决定的。
  大数据考验底层架构
  现实的市场环境是竞争激烈的,更是多变的,以Hadoop为代表的非结构化数据技术的诞生更是加剧了这种竞争。商业行为中每一个细小的变化对应的都是一次数据的补充、一次算法的调整,结果造成了一次数据流的加速,而提升数据的利用率也是提升商业价值最有效的方法。而从另一个角度来说,很多商业企业更热衷于用增加有创造性的大数据应用来强调自己的竞争优势,众所周知的亚马逊产品推荐就是相当典型的一个例子。
  面对大数据时代,大数据的使用者通常会选择在追求数据的多样性的同时,采用有创造性的算法,来实现对于多来源、多格式数据的价值提取。这种以“数据为核心”的思考方式,决定了将运算推到数据方的产业技术趋势。
  大数据基础架构必须学会“海纳百川”。在大数据的来源上,大多使用的是广泛存在于我们周围的数据,比如来自互联网、社交网络等移动应用的数据,或是企业在商业活动过程中积累下来的业务数据,就连抽样数据痛恨不已的错误数据,大数据也照单全收!这个并不难理解,从唯物主义角度讲,数据没有绝对的完整,更没有绝对的完美,错误数据也是数据的一部分。所以对于一个大数据基础架构来说,必须保证各种数据都能够存储下来,并且随时以供调用,而在很多有创意的应用中,这一点甚至会比架构的数据存储量更重要,因为在大多数情况下,考虑的因素越多,结果就会更加“准确”。
  同时大数据基础架构应该是性能卓越、身手敏捷的,无论多么有想法的应用都需要通过算法实现,都需要有一个能令自己大展身手的平台,在复杂数据融合复用的前提下,更加强调了大数据基础架构对于数据的适应能力和数据利用的效率。
  合适才是最好
  对于我们来说,大数据的应用可以说“只有想不到,没有做不到”,再加上复杂多样的数据,注定大数据年代没有通用的底层平台产品,而只有符合创新应用需求和“全数据”处理的大数据基础架构。
  且不说应用算法,就在Hadoop族群本身也有很挑剔的角色:如果和Hive配合的计算密度不够,会造成集群大面积宕机;Hbase能轻而易举地拿下任何格式的数据,存再多都没问题,但面对表单交互运算却无能为力;而storm\Spark、内存数据库,种种大数据处理技术层出不穷,从基础平台、分析、存储到事实运算等不同层面发挥着自己的优势,在大数据这个大话题里,平台与应用之间没有对错,只有是否合适、是否相得益彰,每一个大数据的使用者都需要视自己应用的需求,选择适合自己的基础架构。
  另外,由于以Hadoop为代表的大数据处理技术,大多来自互联网,在对技术优化的同时,却在一定程度上欠缺了企业用户必不可少的安全、稳定和可管理性,在一方面我们还有很长的路要走。
  面对数据的不断增长、应用的不断翻新,大数据不断挑战我们创造力的极限,在这个产业生态系统中,底层基础平台如何不断刷新创新应用和海量数据的价值,也一定将会是相当重要的环节之一。
其他文献
4月13日,H3C正式发布了新一代互联网(NGIP)领跑计划,推出了系列解决方案。3C新一代互联网应用的最新成果包括不久前发布的新一代核心交换机S10500、新一代iMC智能管理中心,以及支持FCoE的数据中心级交换机S5800、刀片交换机、高性能安全业务板卡等众多产品。
观点  在现在这个时间点回望3G的发展历程,可以发现,尽管3G产业机会巨大,但企业依然需要彪悍的技术、营销、管理和资本运营能力,才能最终赢得3G长跑。  1月7日,苦盼多年后,3G牌照终于揭开面纱。尽管答案早已没了悬念,但在3G时代正式到来时,回头看看那些为3G伤过、痛过,甚至倒在3G路上的企业,发人深思。  在过去的几年,3G牵扯了无数人的精力,原因就在于3G是让人垂涎的大饼。据测算,3G带动的
當地时间2017年10月24日,东芝股东召开特殊会议,批准公司向贝恩资本领衔的财团出售闪存子公司东芝内存(Toshiba Memory),售价2万亿日元(约合175亿美元)。收购财团中除了贝恩资本之外,还包括苹果、戴尔、希捷、韩国SK海力士等公司。  贝恩资本此前表示,将联合收购伙伴向东芝存储公司注入90亿美元的资金,保证其后续的运营和研发,另外根据资本市场状况,东芝存储公司将在几年内在东京股市独
随着iPad的闪亮问世,医疗界面临的新机遇大大增加。很多医疗工作人员在思考:iPad如何应用于医生诊所或急诊室?它可以让病人通过在屏幕上一目了然的图片,与医疗服务提供者更顺畅地进行沟通吗?  本文采访了多位医疗界的专业人士,请他们就iPad发表看法。普遍的看法是:iPad大有发展前景,但目前尚不成熟。    瑕瑜互见    iPad会革新医疗界吗?对于这个问题,哈佛医学院CIO兼贝丝伊斯雷尔女执事
维谛技术有限公司(Vertiv) 在北京雁栖湖国际会展中心成功举办了“维谛技术发布会”,向业界正式宣告全球先进的、独立提供網络能源产品和解决方案及全生命周期服务供应商的诞生,开启了全新的品牌时代。
当“自主创新”、“国产化优先”、“核高基”等词汇铺天盖地而来时,中联部信息办早已开始了脚踏实地的探索——用13年的时间,率先走出了一条纯国产化的电子政务之路。这条路能否解答我国电子政务发展的难题?怎样处理自主创新与西方先进技术的关系?电子政务国产化要克服哪些障碍?就这些问题,本报总编辑孙定与中联部信息办副主任任锦华进行了深入交流。    纯国产化范本    孙定: 电子政务在中国已经发展了很长时间
在大多数企业IT预算不断缩减的今天,重复数据删除技术的出现多少减轻了IT经理们对数据增长的担忧,至少企业可以放缓对存储硬件设备的购买速度,而优先对现有的存储设备进一步挖掘潜力。    进入2010年后,厂商和用户对重复数据删除技术的关注度持续不减,业界普遍认为,重复数据删除技术将成为今年乃至今后几年中的一项重要存储技术,甚至会逐渐变成备份中的必备功能。一些市场分析机构和存储厂商对2010年技术趋势
编者的话: 新年伊始,新数据发布与市场预测层出不穷。Gartner发布2010年IT技术趋势预测; IT企业Q4财报纷纷发布,增幅均超预期; IE浏览器曝出未知漏洞,后果严重。  四大趋势Gartner:2010年传感计算大有可为  本报讯 (本报记者 李响)1月20日, Gartner公司在北京发布了2010年及未来IT技术趋势预测。Gartner指出,随着亚洲企业领航经济复苏,并为全球恢复增长
随着云计算席卷全球,中国作为全球信息产业最具潜力的市场,正在接受“云”的洗礼。电子邮件作为一个企业最普遍、最广泛的互联网业务,也开始了云计算探索。  “从原理上讲,‘云’在企业邮箱中早已得到应用,这就是一直在宣称的‘私有云’;而在今天的‘云计算’时代,我们要做的事就是把企业邮箱业务搬到‘公有云’上去,实现真正的‘云应用’。”尚易企业邮箱销售总监董承浩近日指出,传统第三方企业邮箱虽然具有快速应用、前
月初,Canalys发布了一组数据:2011年智能手机整体出货量达到了4.877亿台,2010年为2.997亿台,同比增长了63%。而2011年PC整体出货量为4.146亿台,同比增长15%,这其中包括了15%的平板电脑。从出货量上看,智能手机已经成为主力的个人计算终端。  智能手机的强势增长得益于技术的完善、性能的增强、应用的丰富和用户体验的提升,相较于PC和平板电脑,具有更加齐全的功能、更便捷