论文部分内容阅读
摘要：随着云计算、物联网等的发展，数据已经呈现出爆炸式的增长现象，人们的生活正在被各种数据包围，大数据时代已经到来。轨道交通企业作为近年来全国的城市青睐的优质交通工具提供者，每天也产生者各种数据信息，这些数据有何特点，以及在使用这些大数据时又会带来哪些挑战，本文做出简要的探讨。
关键词：大数据；应用；轨道交通
中图分类号：TP3；U23 文献识别码：A 文章编号：1001-828X（2017）013-0-01
进入新世纪以来，随着博客、微信、移动设备以基于位置服务的LBS服务的新型信息发布方式的发展，数据的种类和数量正在以几何级的速度增长和积累，人们的生活已经被各种各样的数据包围，大数据时代的到来给人们带来了更多生活上的便利和行为习惯的改变。学术界、工业界、政府机构早已对大数据开始了各种研究。然而大数据的火热并不意味着对大数据的深刻理解，反而可能影响了大数据的真正含义的理解。
一、大数据的基本概念
大数据本身的概念比较抽象，但有一点是确定的，即他表示数据的规模庞大，但是仅从数量上难以区分与海量数据（massive data）、超大规模数据（very large data）的差别，大数据目前的定义并没有一个公认的说法，但从不同的定义中可以归纳试图给出定义，而最有代表性的要数3V定义。即认为大数据需满足三个特点：规模性（volume）、多样性（variety）、和高速性（velocity）.对于提出4V定义的有国际数据公司的价值性（value）和IBM认为的实用性（veracity）。维基百科对大数据的定义则更简单明了：Big data is a term for data sets that are so large or complex that traditional data processing application software is inadequate to deal with them. 大数据时指利用常用软件应用工具已经不能够处理的庞大且复杂的数据集。
作者认为，大数据的概念不必拘泥于某一个，在面对实际问题时，把握4V（规模性、多样性、高速性、价值性）特点的基础上适当的考虑数据处理的可容忍时间即可。
二、轨道交通企业大数据特点
轨道交通领域涉及专业多而广，其中土木、车辆、机电、供电、维保、通信、信号、环控、AFC等，这些专业通过人工或自动传输等方式采集产生的数据数以百万计，应用大数据处理技术，深入探索轨道交通系统的运行规律，对于提升轨道交通的运营服务质量和水平有着重要的理论指导意义和实践管理作用。
1.数据种类
根据轨道交通企业数据产生的来源，将大数据分为内部大数据和外部大数据。内部数据包括客流数据、各类型设备反馈的数据、物资材料消耗数据、内部管理数据（财务、人力、效率数据）；外部数据包括天气数据、大型活动数据、其他相关公共数据等。按照数据的产生的过程分为直接数据和间接数据。大数据研究的基本都是直接数据，对直接数据加工处理产生的间接数据，根据其家公的程度来确定该数据是否还需再处理。亦或是用来指导管理决策。
2.数据特点
（1）数据动态性强
以重庆轨道交通开收班时间计算，轨道交通系统每天运转将近17个小时，在运行的这段时间各种数据时刻变化，且各数据动态性强、随机性强、个体间差异明显，变化粒度多样，各数据间相互联系，每一个数据的变化都可能带来其他方面的影响或变化。
（2）数据关联性强
在列车晚间进站到早班发车的间隔时间内，相关的其他工作维保、公务、供电、道岔、桥隧等检修工作也差生这各种不同的数据，而这些数据将直接影响着第二天轨道交通系统的运转情况。
（3）数据分布呈现广泛的异构性
首先数据来源广泛，轨道交通系统涉猎专业繁多，业务复杂，每个部门都产生这各种各样的数据；其次，数据种类繁多，非结构化数据占比较大；再次，数据产生方式多样，随着移动终端的快速发展，数据的产生模式也由被动提取转变为主动产生进而发展为自动发送、上传的模式。
（4）数据规律性强
轨道交通系统每天能够正常运转主要依赖于完善的工作计划，如列车运行计划、人员排班计划、列车检修计划、客流组织计划、设备设施巡检、检修计划等，而完美的计划需要依赖于对数据规律的掌握。
（5）数据的安全保密性要求高
作为支撑企业长久发展的核心信息，如新技术的研发、外来技术的国产化、核心技术、核心指标、管理方法的创新、安全技术的应用、盈利模式的创新、关键的财务数据等都需要较高的保密性。
三、轨道交通企业的大数据应用挑战
1.数据集成挑战
轨道交通数据的采集方式的多样性和数据类型的多样性使得数据集成成为大数据应用面临的巨大挑战。首先数据得广泛异构性表现在数据类型从结构化数据为主转向结构化、半结构化、非结构化，其次数据采集方式的多样性体现在传统固定设备的数据转向移动设备的快速变动数据，且产生的数据呈爆炸式增长，并有着明显的时空特性。不同类型、不同方式、不同纬度的各种数据形成的大数据需要新的集成方法才能发挥其大数据的作用。
2.数据清洗挑战
数据量巨大并不代表数据的价值大，数据量的增加导致数据质量低劣，噪声增多，反而会影响有用数据的筛选和使用。一方面很难由单个几系统容纳下不同数据源集成的海量数据，另一方面数据集成并不是简单的将数据聚集在一起而不作任何清洗，这样有用数据就会被大量的干扰数据淹没。大数据时代的数据清洗需要更加谨慎，因为有限的、细微的有用信息需要从巨量的数据中清洗出来，如果清洗粒度选择不合适，或大或小，都将无法达到真正的清洗效果。
3.数据解释挑战
数据解释旨在更好的呈现大数据的分析结果，不恰当的解释方法可能导致解释结果晦涩，难以理解。然而传统的数据解释方式并不能应对大数据的分析结果，尤其是在面对类型复杂、数量巨大的轨道交通企业大数据时更为如此，外部的大数据与内部的管理数据以何种技术呈现解释结果，需要提出全新的大数据解释方式。云计算的发展为大数据的应用奠定了基础，但是对于大数据去粗取精、内外数据互联融通的过程，云计算犹如大海捞针，仍显得无力。
四、轨道交通企业大数据应用现状
目前轨道交通系统对大数据的应用都尚处于起步阶段，查询知网数据库，也发现目前的研究应用较少，在少有的应用中主要提及的是地铁耗能仿真和节能操纵研究、地铁乘务技术管理、车在信号设备主动维护研究、地铁票制创新、地铁车辆牵引系统故障诊断等，从以上文献不难发现，行业内真正的大数据研究应用还很缺乏，这些数据仍处于专项数据的集成处理研究，数据尚不够“大”，对于管理决策的支撑研究也很少。
五、结语
本文通过大数据概念，结合轨道交通行业目前的数据特点、应用挑战及应用现状提出简单的分析，希望助力于大数据在轨道交通行业的深入、广泛、恰当的应用，促进大数据的良性发展。
參考文献：
[1]维基百科：大数据.（2017-5-22）https：//en.wikipedia.org/wiki/Big_data
[2]孟小峰，慈祥.大数据管理：概念、技术与挑战[J].计算机研究与发展，2013，50（1）：146-169.
[3]李得伟，张天宇，周炜腾，尹浩东.轨道交通大数据应用现状及发展趋势研究[J].都市快轨交通，2016，12：29（6）.
关键词：大数据；应用；轨道交通
中图分类号：TP3；U23 文献识别码：A 文章编号：1001-828X（2017）013-0-01
进入新世纪以来，随着博客、微信、移动设备以基于位置服务的LBS服务的新型信息发布方式的发展，数据的种类和数量正在以几何级的速度增长和积累，人们的生活已经被各种各样的数据包围，大数据时代的到来给人们带来了更多生活上的便利和行为习惯的改变。学术界、工业界、政府机构早已对大数据开始了各种研究。然而大数据的火热并不意味着对大数据的深刻理解，反而可能影响了大数据的真正含义的理解。
一、大数据的基本概念
大数据本身的概念比较抽象，但有一点是确定的，即他表示数据的规模庞大，但是仅从数量上难以区分与海量数据（massive data）、超大规模数据（very large data）的差别，大数据目前的定义并没有一个公认的说法，但从不同的定义中可以归纳试图给出定义，而最有代表性的要数3V定义。即认为大数据需满足三个特点：规模性（volume）、多样性（variety）、和高速性（velocity）.对于提出4V定义的有国际数据公司的价值性（value）和IBM认为的实用性（veracity）。维基百科对大数据的定义则更简单明了：Big data is a term for data sets that are so large or complex that traditional data processing application software is inadequate to deal with them. 大数据时指利用常用软件应用工具已经不能够处理的庞大且复杂的数据集。
作者认为，大数据的概念不必拘泥于某一个，在面对实际问题时，把握4V（规模性、多样性、高速性、价值性）特点的基础上适当的考虑数据处理的可容忍时间即可。
二、轨道交通企业大数据特点
轨道交通领域涉及专业多而广，其中土木、车辆、机电、供电、维保、通信、信号、环控、AFC等，这些专业通过人工或自动传输等方式采集产生的数据数以百万计，应用大数据处理技术，深入探索轨道交通系统的运行规律，对于提升轨道交通的运营服务质量和水平有着重要的理论指导意义和实践管理作用。
1.数据种类
根据轨道交通企业数据产生的来源，将大数据分为内部大数据和外部大数据。内部数据包括客流数据、各类型设备反馈的数据、物资材料消耗数据、内部管理数据（财务、人力、效率数据）；外部数据包括天气数据、大型活动数据、其他相关公共数据等。按照数据的产生的过程分为直接数据和间接数据。大数据研究的基本都是直接数据，对直接数据加工处理产生的间接数据，根据其家公的程度来确定该数据是否还需再处理。亦或是用来指导管理决策。
2.数据特点
（1）数据动态性强
以重庆轨道交通开收班时间计算，轨道交通系统每天运转将近17个小时，在运行的这段时间各种数据时刻变化，且各数据动态性强、随机性强、个体间差异明显，变化粒度多样，各数据间相互联系，每一个数据的变化都可能带来其他方面的影响或变化。
（2）数据关联性强
在列车晚间进站到早班发车的间隔时间内，相关的其他工作维保、公务、供电、道岔、桥隧等检修工作也差生这各种不同的数据，而这些数据将直接影响着第二天轨道交通系统的运转情况。
（3）数据分布呈现广泛的异构性
首先数据来源广泛，轨道交通系统涉猎专业繁多，业务复杂，每个部门都产生这各种各样的数据；其次，数据种类繁多，非结构化数据占比较大；再次，数据产生方式多样，随着移动终端的快速发展，数据的产生模式也由被动提取转变为主动产生进而发展为自动发送、上传的模式。
（4）数据规律性强
轨道交通系统每天能够正常运转主要依赖于完善的工作计划，如列车运行计划、人员排班计划、列车检修计划、客流组织计划、设备设施巡检、检修计划等，而完美的计划需要依赖于对数据规律的掌握。
（5）数据的安全保密性要求高
作为支撑企业长久发展的核心信息，如新技术的研发、外来技术的国产化、核心技术、核心指标、管理方法的创新、安全技术的应用、盈利模式的创新、关键的财务数据等都需要较高的保密性。
三、轨道交通企业的大数据应用挑战
1.数据集成挑战
轨道交通数据的采集方式的多样性和数据类型的多样性使得数据集成成为大数据应用面临的巨大挑战。首先数据得广泛异构性表现在数据类型从结构化数据为主转向结构化、半结构化、非结构化，其次数据采集方式的多样性体现在传统固定设备的数据转向移动设备的快速变动数据，且产生的数据呈爆炸式增长，并有着明显的时空特性。不同类型、不同方式、不同纬度的各种数据形成的大数据需要新的集成方法才能发挥其大数据的作用。
2.数据清洗挑战
数据量巨大并不代表数据的价值大，数据量的增加导致数据质量低劣，噪声增多，反而会影响有用数据的筛选和使用。一方面很难由单个几系统容纳下不同数据源集成的海量数据，另一方面数据集成并不是简单的将数据聚集在一起而不作任何清洗，这样有用数据就会被大量的干扰数据淹没。大数据时代的数据清洗需要更加谨慎，因为有限的、细微的有用信息需要从巨量的数据中清洗出来，如果清洗粒度选择不合适，或大或小，都将无法达到真正的清洗效果。
3.数据解释挑战
数据解释旨在更好的呈现大数据的分析结果，不恰当的解释方法可能导致解释结果晦涩，难以理解。然而传统的数据解释方式并不能应对大数据的分析结果，尤其是在面对类型复杂、数量巨大的轨道交通企业大数据时更为如此，外部的大数据与内部的管理数据以何种技术呈现解释结果，需要提出全新的大数据解释方式。云计算的发展为大数据的应用奠定了基础，但是对于大数据去粗取精、内外数据互联融通的过程，云计算犹如大海捞针，仍显得无力。
四、轨道交通企业大数据应用现状
目前轨道交通系统对大数据的应用都尚处于起步阶段，查询知网数据库，也发现目前的研究应用较少，在少有的应用中主要提及的是地铁耗能仿真和节能操纵研究、地铁乘务技术管理、车在信号设备主动维护研究、地铁票制创新、地铁车辆牵引系统故障诊断等，从以上文献不难发现，行业内真正的大数据研究应用还很缺乏，这些数据仍处于专项数据的集成处理研究，数据尚不够“大”，对于管理决策的支撑研究也很少。
五、结语
本文通过大数据概念，结合轨道交通行业目前的数据特点、应用挑战及应用现状提出简单的分析，希望助力于大数据在轨道交通行业的深入、广泛、恰当的应用，促进大数据的良性发展。
參考文献：
[1]维基百科：大数据.（2017-5-22）https：//en.wikipedia.org/wiki/Big_data
[2]孟小峰，慈祥.大数据管理：概念、技术与挑战[J].计算机研究与发展，2013，50（1）：146-169.
[3]李得伟，张天宇，周炜腾，尹浩东.轨道交通大数据应用现状及发展趋势研究[J].都市快轨交通，2016，12：29（6）.