论文部分内容阅读
地震、台风、泥石流……有什么好的方法能够预防自然灾害并减小灾害带来的损失呢?大数据是一种可行的方法。为了预防自然灾害,就必须对大量的地质、气候数据进行整理、分析。为了满足相关科研机构对于大容量存储和数据分析的需求,曙光公司为其提供了高性能集群系统和并行存储系统,满足了科研机构对I/O带宽高、系统扩展性好、并发处理能力强的需求,同时全面支持先进的高速互联网络并行计算,使得科研机构能够及时做出预判。
有人说,中国是一个天生的大数据国家。大数据将开启一次重要的IT时代转型,而在这股大数据的淘金浪潮中,如果能够抓住创新的契机,紧贴行业用户的需求,找到大数据的支点,中国企业就可能占得先机。
云计算是技术支点
大数据4V(Volume、Velocity、Variety、Veracity)的特点决定了它与传统的数据挖掘技术存在着本质区别。在利用大数据技术应对自然灾害、控制流行性疾病、帮助政府制定惠民政策,或让企业通过数据再加工实现盈利的今天,仅注重因果关系的传统思维方式产生了很大的局限性。在以事物相关关系为核心的大数据时代,用户必须具备收集全面而完整的数据,并做出相关性判断的能力。因此,用户需要强大的数据处理和存储能力,同时还需要先进的实时分析技术。
正如《大数据时代》一书的作者维克托教授所说,大数据的真实价值就像漂浮在海洋中的冰山,其价值绝大部分都隐藏在海面之下。“征服数据海洋的动力就是云计算。”曙光公司总裁助理兼存储产品总监惠润海表示,“在云计算出现之前,传统的方法无法处理PB级的非结构化数据。以云计算为基础的大数据平台,可以通过信息存储、分享和挖掘手段,以更低的成本有效地将大量、高速、多变化的数据存储下来,并进行实时分析。曙光经过十多年在高性能、云计算和存储领域的精耕细作,已经在国防军工、气象气候、政府、医疗、交通和物流等行业推出了一系列非常成熟的解决方案,同时积累了应对不同规模、不同类型数据处理的大数据实施经验。”
一体化方案提高效率
医疗行业一直在寻找一种最有效的监控全球流感病情的方法。谷歌利用聚合搜索数据成功地对流感病情进行了跟踪和预测,这是大数据的一个成功范例。
曙光公司的医疗行业大数据支撑平台已经用于国内许多三甲医院和区域卫生平台,正在为患者和医生提供周到、实时的服务。从帮助相关研究机构实现医疗方法和药物研发的革新,到支持地区甚至全国医疗行业主管部门优化医疗资源及服务配置;从辅助临床医生做出更为科学和准确的诊断,到帮助医院根据患者潜在需求开发全新个性化服务,曙光公司大数据平台的价值在医疗行业得到了充分释放。
其实,除了医疗行业以外,智慧城市、商业服务、互联网等领域都有了大数据的成功应用。但是惠润海认为,缺乏熟练掌握大数据技术的专业技术人员、实施经验不足、进入门槛相对较高等是很多企业用户还不能实现大数据落地的主要障碍。为此,曙光推出了大数据一体化解决方案以及XData大数据一体机。
“在大数据时代,我们不必知道现象背后的原因,只要让数据自己发声即可。”惠润海表示。曙光XData大数据一体机正是可以帮助用户将应用化繁为简,让数据发声的工具。用户不用考虑数据是结构化的还是非结构化的,XData都能智能地按照数据的语义进行存储,并实现查询、检索和统计分析。举例来说,在并行数据查询方面,曙光的大数据一体化方案可以根据行业特性,为用户提供优化的查询策略。这种策略将在XData上实现任务自动分解,并在多个数据模块上并行执行,可以全面提高复杂查询条件下的查询效率。
有人说,中国是一个天生的大数据国家。大数据将开启一次重要的IT时代转型,而在这股大数据的淘金浪潮中,如果能够抓住创新的契机,紧贴行业用户的需求,找到大数据的支点,中国企业就可能占得先机。
云计算是技术支点
大数据4V(Volume、Velocity、Variety、Veracity)的特点决定了它与传统的数据挖掘技术存在着本质区别。在利用大数据技术应对自然灾害、控制流行性疾病、帮助政府制定惠民政策,或让企业通过数据再加工实现盈利的今天,仅注重因果关系的传统思维方式产生了很大的局限性。在以事物相关关系为核心的大数据时代,用户必须具备收集全面而完整的数据,并做出相关性判断的能力。因此,用户需要强大的数据处理和存储能力,同时还需要先进的实时分析技术。
正如《大数据时代》一书的作者维克托教授所说,大数据的真实价值就像漂浮在海洋中的冰山,其价值绝大部分都隐藏在海面之下。“征服数据海洋的动力就是云计算。”曙光公司总裁助理兼存储产品总监惠润海表示,“在云计算出现之前,传统的方法无法处理PB级的非结构化数据。以云计算为基础的大数据平台,可以通过信息存储、分享和挖掘手段,以更低的成本有效地将大量、高速、多变化的数据存储下来,并进行实时分析。曙光经过十多年在高性能、云计算和存储领域的精耕细作,已经在国防军工、气象气候、政府、医疗、交通和物流等行业推出了一系列非常成熟的解决方案,同时积累了应对不同规模、不同类型数据处理的大数据实施经验。”
一体化方案提高效率
医疗行业一直在寻找一种最有效的监控全球流感病情的方法。谷歌利用聚合搜索数据成功地对流感病情进行了跟踪和预测,这是大数据的一个成功范例。
曙光公司的医疗行业大数据支撑平台已经用于国内许多三甲医院和区域卫生平台,正在为患者和医生提供周到、实时的服务。从帮助相关研究机构实现医疗方法和药物研发的革新,到支持地区甚至全国医疗行业主管部门优化医疗资源及服务配置;从辅助临床医生做出更为科学和准确的诊断,到帮助医院根据患者潜在需求开发全新个性化服务,曙光公司大数据平台的价值在医疗行业得到了充分释放。
其实,除了医疗行业以外,智慧城市、商业服务、互联网等领域都有了大数据的成功应用。但是惠润海认为,缺乏熟练掌握大数据技术的专业技术人员、实施经验不足、进入门槛相对较高等是很多企业用户还不能实现大数据落地的主要障碍。为此,曙光推出了大数据一体化解决方案以及XData大数据一体机。
“在大数据时代,我们不必知道现象背后的原因,只要让数据自己发声即可。”惠润海表示。曙光XData大数据一体机正是可以帮助用户将应用化繁为简,让数据发声的工具。用户不用考虑数据是结构化的还是非结构化的,XData都能智能地按照数据的语义进行存储,并实现查询、检索和统计分析。举例来说,在并行数据查询方面,曙光的大数据一体化方案可以根据行业特性,为用户提供优化的查询策略。这种策略将在XData上实现任务自动分解,并在多个数据模块上并行执行,可以全面提高复杂查询条件下的查询效率。