机器大数据也离不开Hadoop

来源 :中国计算机报 | 被引量 : 0次 | 上传用户:greatteset
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  根据数据来源划分,大数据主要包括三类:商业运作产生的数据、人类行为产生的数据和机器数据。目前,人们谈论最多的是前两类数据的处理和分析。创立于2004年的Splunk公司独树一帜,从公司成立之初就一直专注于机器数据的处理和分析。Splunk公司产品营销副总裁Sanjay Mehta在接受本报记者采访时表示,机器大数据未来具有非常广阔的发展前景。
  机器大数据有可为
  何为机器数据?人们的每项活动都会在机器数据中留下痕迹,这些数据包含客户行为、使用事务处理、应用程序行为、服务水平等的明确记录,像人们非常熟悉的日志文件、传感器数据等都是机器数据。Sanjay Mehta表示:“机器生成的数据是发展最快、最复杂同时也是最宝贵的那部分大数据。但是现有的数据分析、管理和监控解决方案很少有为这类数据设计的。”
  机器数据处理的难点在于以下三方面:机器数据来自于不同来源,而将这些不同来源关联起来十分复杂;机器数据主要是非结构化的,很难用预先定义的架构来处理;机器数据对实时处理的要求非常高。Splunk的产品被外界称为机器数据的引擎,它能够有效应对机器数据的种种挑战,收集非结构化的时间序列机器数据,并编制索引加以利用。Sanjay Mehta表示,Splunk可以读取人们能够想到的任何来源的数据,比如网络流量、Web服务器、自定义应用程序、应用程序服务器、虚拟机管理程序、GSP系统甚至股市源、社交媒体和结构化数据库的数据,并通过它们实时掌握业务状况,深入分析在整个IT系统和基础设施中发生了什么,从而做出正确决策。
  增强Hadoop的易用性
  “我们的某些客户告诉我们,他们要使用Hadoop,希望以更低成本来存储数据。但问题是,如果想部署Hadoop并基于它获得更多价值并不是一件容易的事。部署Hadoop所花费的人力和服务可能是部署普通软件的20倍。如果想充分发挥Hadoop的作用,至少要将13个项目与Hadoop进行集成。另外很多客户反映,Hadoop平台上的数据量太大而无法随意迁移。”Sanjay Mehta表示,“2012年10月,我们推出了Splunk Hadoop Connect,让用户可以简单、方便地在Splunk Enterprise和Hadoop之间转移数据。”
  Splunk Hadoop Connect打通了Hadoop与Splunk产品平台之间的传输通道, 用户可以将Splunk平台上的数据传输到Hadoop平台上进行长期存储。Hadoop上的数据也可以实时地传输到Splunk上进行分析和可视化。
  对于很多客户来说,最棘手的问题是Hadoop上的数据量太大,无法随意移动。
  2013年6月22日,Splunk 发布了Hunk测试版——Splunk Analytics for Hadoop,它提供了针对Hadoop平台的互动数据探索分析和可视化功能,这为用户使用Hadoop平台提供了更多便利。
  Splunk Analytics for Hadoop是一个全功能的集成的产品,针对Hadoop上的数据在同一个平台上提供了互动的数据探索、分析和可视化三种必要的功能。“Splunk Analytics for Hadoop为用户提供了一个简单、易用的界面,不仅专业人员可以使用,即使普通的管理人员也能使用它对数据进行访问和分析。以前可能要花几个月时间来了解和分析数据,现在使用Splunk Analytics for Hadoop,可能只要一小时甚至几分钟。”Sanjay Mehta表示。
  Splunk Analytics for Hadoop是首个采用Splunk虚拟索引技术(正在申请专利)的产品。用户通过它可以无缝使用Splunk的所有技术,包括Splunk搜索处理语言(SPL)等。它可以实现互动地探索、分析和可视化存储在任何地方的数据,就像这些数据存储在Splunk Index中一样。Sanjay Mehta介绍说:“未来,我们会把更多技术创新反馈给Hadoop社区。目前,我们正在邀请特定的用户参与Hunk的测试。”
其他文献
有人说,软件定义存储(SDS)是推销存储技术的一种营销手段;还有人说得更直白,SDS就是骗人的把戏。IBM说,SDS并不是一个全新的概念,如果认同存储的虚拟化与优化是SDS 1.0的主要特征,那么IBM十年前就已经开始实践SDS。  近日在深圳举行的IBM Storwize V5000系列新产品发布会上,IBM首次面向中国客户谈了对SDS的理解。IBM系统与科技部中低端磁盘产品全球副总裁Jeff
一年一度的“IBM信息随需应变(Information on Demand,IOD)大会”如期而至,仍然在拉斯维加斯这个现代化气息浓厚的城市举办,主角仍然是大数据。  今年,IBM向与会者展示了其面向大数据时代的诸多新产品和新方案,并遵循提供整体解决方案的理念,结合IBM自身的优势,从服务、实施和方法论等多个方面,为企业用户提供了颇具参考意义的大数据实施范本。  大数据分析需求将增长20%  在未
2013年5月16日,第十四届中国信息安全大会在北京隆重举行,北京安赛创想科技有限公司(简称安赛科技)旗下的企业级产品AIScanner安全检测系统荣获“2013年度中国信息安全金融行业优秀解决方案”奖项。  安赛科技位于北京市海淀区,公司专注于信息安全前沿技术的研究,致力于为各大行业提供有效地高端安全服务。  安赛科技具备优秀的自主研发能力和创新能力。旗下有诸如漏洞扫描、Web应用防火墙、Web
当前大数据并未形成统一定义,不同厂商和用户由于所处角度不同,对大数据的理解也不相同。一般而言,从对象角度看,大数据是大小超出了典型数据库软件的采集、存储、管理和分析等能力的数据集合;从技术角度看,大数据技术是从各种各样类型的大数据中,快速获得有价值信息的技术及其集成;从应用角度看,大数据是对特定的大数据集合集成应用大数据技术,获得有价值信息的行为。  基于上述对大数据的大致认识和理解,人们不难发现
在没有采用富士施乐全包服务之前,确保公司的10台数码复合机安全运行是松下电气机器(北京)有限公司管理部李晓菲的重要工作,如果这些机器的墨粉用尽,或者哪台机器突然出现故障,就会影响到公司的正常办公。  全包服务更省心  富士施乐的全包服务,指的是富士施乐专业服务工程师根据机器的实际使用量,主动对设备进行维护保养,及时更换零件,使设备始终保持最佳运转的一种服务模式,客户只需按打印和复印量支付费用。设备
河北税翼计算机服务有限公司(下称河北税翼)是一家专注于税务领域信息技术服务的高技术公司。公司成立于2011年4月,注册资金3000万元,公司总部位于邯郸,在北京、石家庄、济南等地设有办事处。  根据国家税务总局《网络发票管理办法》“税企共建、合作共赢、服务社会、市场运作”的发票管理思路,河北税翼结合在税务行业发票管理方面的丰富经验,推出了“税翼全在线网络发票及支持服务体系整体解决方案”。公司拥有所
国外互联网巨头一直想要进军中国市场,但要想复制其在国际上的辉煌,的确还需要在实践的过程中加把劲才行。  —— 实习记者 王洁莹  在不久前结束的2013全球移动互联网大会上,Evernote宣布在中国推出“印象笔记企业版”。这不禁让人想起一年前,Evernote以国际云笔记行业的领先地位和雄厚实力进军中国市场,并推出“印象笔记”中国版。入华一年,从它在中国积累用户超过400万的数字上可以看出,Ev
物联网(Internet of Things)被称为继计算机、互联网之后世界信息发展的第三次浪潮。今年4月,思科又推出“万物互联(Internet of Everything)”新概念,并称万物互联将会为全球企业带来14.4万亿美元的潜在商机。  “全球有1.5万亿事物,其中仅有100亿已经联接到互联网,目前尚有99.4%的事物未联接到互联网。”近日,思科透露正在研发一款可支持物联网路由技术的集成
以前,日本有人在研发一款围棋软件,但它在与人类对弈的过程中从未赢过高段位的棋手。但自从采用大数据归纳分析的方法后,该围棋软件终于从去年开始有了战胜高段位棋手的记录。利用大数据工具改变甚至重塑传统应用的例子越来越多。NEC全球总裁远藤信博在接受记者采访时表示:“在云计算和网络宽带化的基础上,大数据处理正成为人们热议的焦点。对数据进行采集然后分析,最终将数据转化为服务是NEC创建智慧城市,利用大数据创
“短短三年,天津沃德传动(有限)公司就在三个方面取得了不错的成绩:一是已经拥有75项国家专利,二是这些专利已经应用到产品中,三是产品已经在国内乃至国际上一些重要的应用现场用得很好。” 天津沃德传动(有限)公司CEO胡炜对这样一家“典型的高科技、有高附加值的制造企业”很自豪。  谈到成功的原因,胡炜强调道:“沃德传动在构建战略规划的时候把设计研发、精加工、服务、营销作为平台和基础,信息化则是整个战略