论文部分内容阅读
每一年，IT界都会有一个最流行的话题——去年是“云计算”，今年则是“大数据”。美国互联网数据中心指出，互联网上的数据每年增长50%，每两年便翻一番，而目前世界上90%以上的数据是最近几年才产生的。2012年3月，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家战略。奥巴马政府甚至将大数据定义为“未来的新石油”。
随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代。
什么是大数据？
大数据（big data），或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理的信息。从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。
业界通常用4个V（即Volume、Variety、Value、Velocity）来概括大数据的特征。
一是数据体量巨大（Volume）。从TB级别，跃升到PB级别。有数据显示，到2012年为止，人类生产的所有印刷材料的数据量大约是200PB（1PB=1024TB），全人类历史上说过的所有话的数据量大约是5EB（1EB=1024PB）。举例来说，1PB相当于154万张770MB光盘的数据容量，1ZB相当于全球每个人每天都去做1.19亿次高分辨率的核磁共振检查所产生的数据总量。
二是数据类型繁多（Variety）。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这就对数据的处理能力提出了更高要求。
三是价值密度低（Value）。以视频为例，在1小时连续不间断的监控过程中，有用数据可能仅有一二秒。
四是处理速度快（Velocity）。这是大数据区别于传统数据挖掘技术的最显著特征。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。
大数据应用
从市场上已经发生的案例来看，互联网行业、零售行业受大数据的影响最大，医疗、卫生、交通、物流甚至生物科技、天文等领域也都开始意识到大数据的价值。
互联网行业
雅虎于2008年年初便开始启用大数据技术，每天分析超过200PB的数据，这使得雅虎的服务变得更人性化，更贴近用户和客户。为了更深入地了解每一个用户，亚马逊不仅从每个用户的购买行为中获得信息，还将每个用户在其网站上的所有行为都记录下来，这些数据的有效分析使得亚马逊对于客户的购买行为和喜好有了全方位了解，对其货品库存、仓储、物流以及广告业务上都有着极大的效益回馈。
零售行业
英国最大的连锁超市Tesco （特易购，国内称乐购）已经开始运用大数据技术采集并分析其客户行为信息。特易购首先在大数据系统内给每个顾客确定一个编号，然后通过顾客的刷卡消费、填写调查问卷、打客服电话等行为采集他们的相关数据，再用计算机系统建立特定模型，对每个顾客的海量数据进行分析，得出顾客的消费习惯、近期可能的消费需求等结论，以此来制定有针对性的促销计划并调整商品价格。这种有的放矢的营销和定价模式为特易购提供了更加高效的盈利方法。
医疗行业
医疗行业早就遇到了海量数据的挑战，很多国家都在积极推进医疗信息化发展，这一切都离不开大数据分析。
在临床操作方面，大数据有5个主要应用：1.通过全面分析病人特征数据和疗效数据，然后比较多种干预措施的有效性，可以找到针对特定病人的最佳治疗途径。2.大数据分析技术将使临床决策支持系统（分析医生输入的条目，比较其与医学指引不同的地方，从而提醒医生防止潜在的错误，如药物不良反应）更智能，这得益于对非结构化数据的分析能力的日益加强。3.通过提高医疗过程数据的透明度，间接促进医疗服务质量的提高。公开发布医疗质量和绩效数据还可以帮助病人做出更明智的健康护理决定。4.通过对远程监控系统产生的数据的分析，可以减少病人住院时间，减少急诊量，实现提高家庭护理比例和门诊医生预约量的目标。5.在病人档案方面应用高级分析可以确定哪些人是某类疾病的易感人群。
大数据的使用可以改善公众健康监控。公共卫生部门可以通过覆盖全国的患者电子病历数据库，快速检测传染病，进行全面的疫情监测，并通过集成疾病监测和响应程序，快速进行响应。通过提供准确和及时的公众健康咨询，将会大幅提高公众健康风险意识，同时也将降低传染病感染风险。所有的这些都将帮助人们创造更健康生活。
交通行业
在交通管理上，大数据成为助力智慧交通发展的必然选择。
不久前，爱尔兰首都都柏林已与IBM合作，利用实时数据来简化公共交通。大数据策略帮助该地区的公交车顺畅运行。都柏林的交通控制站能够利用数据定位公交车的实时位置。管理人员得以快速将公交网络中潜在的问题可视化。例如，管理人员可以确定拥堵区域，并在拥堵蔓延到其他交通干线之前找出问题的根源。大数据在交通管理上的应用大大优化了交通状况，而且节约了行政资源。
在国内，上海正在构建通过物联网技术支撑的公共汽车运行信息发布系统，市民可以利用智能手机，查询公交线路和实时运行信息。无独有偶，南京市基于强大的云平台运行智慧交通云系统、云视频监控和智能分析应用，对整个南京140万辆机动车的交通数据进行实时查询和分析，并主动报警、主动通知用户。
实际上，大数据运用在交通中除了能提供实时的交通数据，进行路况预警外，在未来城市的规划中也起着举足轻重的作用。
通过收集数据，进行车流量的统计，再进一步对这些数据进行分析就能够将交通信息可视化，对同时段不同区域拥堵原因做出分析，这种分析为如何规划道路，是拓宽还是改道提供了参考的标准。大数据的应用一方面通过预警疏散交通压力，一方面为合理规划提供参考，可谓双管齐下。
在这个过程中，我们让整个社会变得更加环保，成为更加集约型的社会。这都是大数据在智慧交通上具体的体现。
大数据会给我们带来生活方式的变革，但是它的应用也并不是十全十美。除了信息数据采集会存在偏差、数据会受到市场的干扰以外，当个人生活和信息都被化为数据记录在数据供应商的手中时，个人信息安全如何保护将是每个人都要考虑的问题。
【责任编辑】赵新宇
随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代。
什么是大数据？
大数据（big data），或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理的信息。从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。
业界通常用4个V（即Volume、Variety、Value、Velocity）来概括大数据的特征。
一是数据体量巨大（Volume）。从TB级别，跃升到PB级别。有数据显示，到2012年为止，人类生产的所有印刷材料的数据量大约是200PB（1PB=1024TB），全人类历史上说过的所有话的数据量大约是5EB（1EB=1024PB）。举例来说，1PB相当于154万张770MB光盘的数据容量，1ZB相当于全球每个人每天都去做1.19亿次高分辨率的核磁共振检查所产生的数据总量。
二是数据类型繁多（Variety）。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这就对数据的处理能力提出了更高要求。
三是价值密度低（Value）。以视频为例，在1小时连续不间断的监控过程中，有用数据可能仅有一二秒。
四是处理速度快（Velocity）。这是大数据区别于传统数据挖掘技术的最显著特征。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。
大数据应用
从市场上已经发生的案例来看，互联网行业、零售行业受大数据的影响最大，医疗、卫生、交通、物流甚至生物科技、天文等领域也都开始意识到大数据的价值。
互联网行业
雅虎于2008年年初便开始启用大数据技术，每天分析超过200PB的数据，这使得雅虎的服务变得更人性化，更贴近用户和客户。为了更深入地了解每一个用户，亚马逊不仅从每个用户的购买行为中获得信息，还将每个用户在其网站上的所有行为都记录下来，这些数据的有效分析使得亚马逊对于客户的购买行为和喜好有了全方位了解，对其货品库存、仓储、物流以及广告业务上都有着极大的效益回馈。
零售行业
英国最大的连锁超市Tesco （特易购，国内称乐购）已经开始运用大数据技术采集并分析其客户行为信息。特易购首先在大数据系统内给每个顾客确定一个编号，然后通过顾客的刷卡消费、填写调查问卷、打客服电话等行为采集他们的相关数据，再用计算机系统建立特定模型，对每个顾客的海量数据进行分析，得出顾客的消费习惯、近期可能的消费需求等结论，以此来制定有针对性的促销计划并调整商品价格。这种有的放矢的营销和定价模式为特易购提供了更加高效的盈利方法。
医疗行业
医疗行业早就遇到了海量数据的挑战，很多国家都在积极推进医疗信息化发展，这一切都离不开大数据分析。
在临床操作方面，大数据有5个主要应用：1.通过全面分析病人特征数据和疗效数据，然后比较多种干预措施的有效性，可以找到针对特定病人的最佳治疗途径。2.大数据分析技术将使临床决策支持系统（分析医生输入的条目，比较其与医学指引不同的地方，从而提醒医生防止潜在的错误，如药物不良反应）更智能，这得益于对非结构化数据的分析能力的日益加强。3.通过提高医疗过程数据的透明度，间接促进医疗服务质量的提高。公开发布医疗质量和绩效数据还可以帮助病人做出更明智的健康护理决定。4.通过对远程监控系统产生的数据的分析，可以减少病人住院时间，减少急诊量，实现提高家庭护理比例和门诊医生预约量的目标。5.在病人档案方面应用高级分析可以确定哪些人是某类疾病的易感人群。
大数据的使用可以改善公众健康监控。公共卫生部门可以通过覆盖全国的患者电子病历数据库，快速检测传染病，进行全面的疫情监测，并通过集成疾病监测和响应程序，快速进行响应。通过提供准确和及时的公众健康咨询，将会大幅提高公众健康风险意识，同时也将降低传染病感染风险。所有的这些都将帮助人们创造更健康生活。
交通行业
在交通管理上，大数据成为助力智慧交通发展的必然选择。
不久前，爱尔兰首都都柏林已与IBM合作，利用实时数据来简化公共交通。大数据策略帮助该地区的公交车顺畅运行。都柏林的交通控制站能够利用数据定位公交车的实时位置。管理人员得以快速将公交网络中潜在的问题可视化。例如，管理人员可以确定拥堵区域，并在拥堵蔓延到其他交通干线之前找出问题的根源。大数据在交通管理上的应用大大优化了交通状况，而且节约了行政资源。
在国内，上海正在构建通过物联网技术支撑的公共汽车运行信息发布系统，市民可以利用智能手机，查询公交线路和实时运行信息。无独有偶，南京市基于强大的云平台运行智慧交通云系统、云视频监控和智能分析应用，对整个南京140万辆机动车的交通数据进行实时查询和分析，并主动报警、主动通知用户。
实际上，大数据运用在交通中除了能提供实时的交通数据，进行路况预警外，在未来城市的规划中也起着举足轻重的作用。
通过收集数据，进行车流量的统计，再进一步对这些数据进行分析就能够将交通信息可视化，对同时段不同区域拥堵原因做出分析，这种分析为如何规划道路，是拓宽还是改道提供了参考的标准。大数据的应用一方面通过预警疏散交通压力，一方面为合理规划提供参考，可谓双管齐下。
在这个过程中，我们让整个社会变得更加环保，成为更加集约型的社会。这都是大数据在智慧交通上具体的体现。
大数据会给我们带来生活方式的变革，但是它的应用也并不是十全十美。除了信息数据采集会存在偏差、数据会受到市场的干扰以外，当个人生活和信息都被化为数据记录在数据供应商的手中时，个人信息安全如何保护将是每个人都要考虑的问题。
【责任编辑】赵新宇