论文部分内容阅读
摘要：近年来，经济快速发展，社会不断进步，铁路电务专业数据复杂、种类繁多、实时性较强，通过大数据平台对数据进行整合汇集、即时共享、可视化交互展现，可以更直观地分析数据，更有效地利用数据，进而及时发现并处理问题。基于大数据平台的铁路电务专业数据可视化交互系统基于大数据技术架构，利用前端可视化图形库，结合地理信息服务组件，为铁路电务专业不同类别的用户提供多维度、多层级、多种形式的可视化展示。提出系统整体架构与前后端交互设计方案，阐述多个大数据技术架构与前端展示相结合的典型应用场景，能够实现数据从采集到展示的全流程综合处理与应用。
关键词：大数据平台;铁路电务;数据;可视化;交互系统
引言
近年来，随着大数据技术和应用的不断发展和演进，以数据集中和共享为途径，建设全国一体化的国家大数据中心已成为国家级战略决策，以技术融合、业务融合、数据融合为特征，实现跨层级、跨地域、跨系统、跨部门、跨业务的协同管理和服务，提高社会治理社会化、法制化、智能化、专业化水平，提高预测、预警、预防各类风险的要求也不断提升。如何完善社会治安综合治理体制机制，加快建设立体化、信息化社会治安防控体系，用信息化手段更好的感知社会态势、畅通沟通渠道、辅助决策施政成为摆在政法系统面前的挑战。从公安行业的建设与应用实践来看，不同警种间的壁垒正逐渐被打破，全量互通的数据中心初步形成，信息数据作为新型核心资源的重要性也不断凸显。为了有效地利用海量信息并挖掘内在更大的价值，提升铁路公安实战应用能力、建立立体化综合防控体系。
1数据可视化简述
关于数据可视化的定义有很多，通常我们在大数据分析应用中所提到的可视化是指，利用包括图像和人机交互等在内的计算机技术，将已被采集的和需要被模拟的数据映射为更加直观的、满足人们需要的图形和图像。所以我们认为，“可视化”就是将人们感兴趣的信息数据转化为更加便于人们欣赏的图式化过程。显然更加侧重人对数据、信息和知识自上而下的加工处理过程。相对于繁杂的数据，图表不仅能更加简洁地表述信息，还适用于大量信息的描绘，即对大量数据的承载。这也是数据可视化成为大数据分析工具不可或缺的功能模块的主要原因。数据可视化包含三个分支，科学可视化、信息可视化和可视分析，其中可视分析是本文主要所讨论的一个分支。可视分析是随着人工智能的兴起而出现的一个新学科，它被定义为由可视交互界面为基础的分析推理科学，将图形学、数据挖掘、人机交互等技术融合在一起，形成人脑智能和机器智能优势互补和相互提升。
2大数据平台的铁路电务专业数据可视化交互系统
2.1数据库设计
运条基础线站信息与客票系统路网信息密切相关，运条信息为基础，客票系统应用运条信息规范的线站信息，在业务流程上具有上下工序关系，运条信息为客票基础信息的數据源，在数据存储层设计需要考虑运条信息与既有客票系统数据的便捷互通，综合分析运条信息的业务特点。①运条信息中包含线路、车站、里程、所属区域等表达规范的业务信息，此类信息设计采用与客票系统基础数据管理业务相同的关系型数据库方式存储。②运条信息中的接续线、客运价格执行说明、线附注等信息具有包含大量文本信息的特点，选择具有高性能、易部署、易使用的文档类数据库MongoDB作为辅数据库，采用MongoDB方式描述，可以充分利用其可扩展特性，当出现运条信息项增加时，只需要增加key-value对即可，适合运条信息日常业务存在不定期新增附录的特点。
2.2地理信息应用
铁路地理信息平台是铁路数据服务平台的重要组成部分，统一管理国家基础地理信息数据、铁路专业公用地理信息数据。利用铁路地理信息平台提供的电子地图服务，以2种方式实现地理信息应用：①直接访问铁路地理信息平台提供的电子地图服务，在网页上以遥感图、矢量图、3D图、实景图等方式展示机房、铁塔等设备的地理信息;②通过二次开发，定义设备及其及其异常状态（告警、障碍、故障）的自定义图符，这些自定义图符作为一个图层在电子地图上显示，当用户点击自定义图符时，可以展示对应设备的静态和动态数据，并可关联该设备所有相关功能。
2.3数据可视化
通信智能运维应用基于CSS、JavaScript、HTML5原生前端开发方式，利用ECharts组件实现数据可视化展示。在实现数据可视化展示时，考虑以下3个要点。①合理选择可视化展示形式，力求视觉效果直观、易于理解;如设备全寿命周期功能中，采用瀑布流形式，在时间轴上展示设备出厂、安装、上线、告警、故障、检修等事件，揭示设备“全寿命”过程;比较事物/现象的不同分类时采用柱状图，同一数据不同分类的展示采用饼状图，展示事物/现象变化趋势时采用折线图，展示定性数据采用热力图。②灵活运用形状、色彩、尺寸、位置等可视化元素来展示数据;如在地理信息应用功能中，为机房和铁塔等设备设施设计了自定义图符，用户从图符外观就能分辨出设备种类;在展示设备告警信息时，严重告警使用红色标记，一般告警使用黄色标记;用热力图展示设备数量时，设备数量多时用深蓝色，设备数量少时用浅蓝色;在设备健康管理中，设备质量总评分显示在页面正中，且字体加粗加大，各分项评分则排列在总评分的下方，且字体较小。③提供多层次、多路径链接展示数据，方便用户浏览和查看感兴趣的数据;如在展示全局的设备时，点击设备图符即可链接到站段、车间、工区的设备统计页面;在全寿命周期功能中，点击设备的每一个事件图符可进入详细信息页面;在作业卡控功能中，月计划完成情况页面上的热点可链接到日工单完成情况统计页面，进而链接至每日检修详情页面。
2.4实时数据
①实时数据采集与存储，电务专业实时业务数据具有实时性要求高、时延容忍度小、准确度要求高、可靠性需求高等特点，对此类专业数据的采集与存储过程如下：系统通过Kafka消息队列完成总线多线程处理，并创新性地采用数据独立线程、随进随出、同步存储的技术架构，较好地满足了实时性要求高、时延容忍度小的业务需求。对于准确度要求高的业务数据，在流处理过程中增加入库存储前有效字段校验流程，以确保数据完整性、有效性与准确性。对于可靠性需求高的业务数据，在Kafka分布式队列的设计实现中，利用备份策略增加副本数，当Kafka集群中的部分服务出现异常时，其他服务中留存有数据副本，实现数据冗余备份，防止数据更改或丢失。此外，适当延长Kafka消费数据有效期长度，在时间维度上增加了备份冗余数据的存在时长，确保数据可查验、可比对、可追溯。②实时数据更新，对于实时业务数据，在可视化之前除了要对数据进行高实时性低时延的有效采集与存储，还需对其进行及时更新，以确保可视化呈现的准确。在电务专业数据中，比较典型的实时性数据包括：告警数据、列车位置信息数据、设备接口状态数据等。
结语
经过一期大数据可视化分析平台的建设，已经形成了对海量数据的分析计算能力，在打击违法犯罪中取得了一定的成效。然而，在建设与应用过程当中，也显露出了一些亟待完善的问题，如缺乏前端信息采集和后端模型计算结果输出环节，没有形成大数据应用闭环;缺乏对数据的掌控能力，不稳定风险高;缺乏完善的移动端警务应用等。未来还将努力实现“纵向到底、横向到边”的数据联通、情报共享、全域感知、全时预警，将铁路公安工作由传统被动型应对处置向主动预判、预警、预防转变，实现铁路公安基础业务信息采集管理、线索梳查、铁路风险分析研判和情报预警、指挥调度支撑等实战应用，融合云技术、人工智能和大数据分析等新技术，真正做到“平安铁路、智慧铁警”。
参考文献
[1]张震.铁路公安大数据建设及分析应用探究[J].法制博览，2020（04）：171-172.
[2]李曦，周嵩岑.等保架构下移动警务系统安全评估研究[J].网络空间安全，2017，8（12）：13-16.
[3]王生玉.构建网络智能安全运维平台承载智慧警务未来安全发展[J].网络空间安全，2016，7（Z1）：82-87.
[4]马克.破坏铁路案件侦查要点实证研究[J].铁道警察学院学报，2019，29（02）：97-103.
[5]潘辉，张千洪，马亚洲.浅谈数字IP互联无线通信技术在铁路公安中的应用[J].数字通信世界，2018（11）：27+142.
中交二公局铁路建设有限公司，陕西西安 710100
关键词：大数据平台;铁路电务;数据;可视化;交互系统
引言
近年来，随着大数据技术和应用的不断发展和演进，以数据集中和共享为途径，建设全国一体化的国家大数据中心已成为国家级战略决策，以技术融合、业务融合、数据融合为特征，实现跨层级、跨地域、跨系统、跨部门、跨业务的协同管理和服务，提高社会治理社会化、法制化、智能化、专业化水平，提高预测、预警、预防各类风险的要求也不断提升。如何完善社会治安综合治理体制机制，加快建设立体化、信息化社会治安防控体系，用信息化手段更好的感知社会态势、畅通沟通渠道、辅助决策施政成为摆在政法系统面前的挑战。从公安行业的建设与应用实践来看，不同警种间的壁垒正逐渐被打破，全量互通的数据中心初步形成，信息数据作为新型核心资源的重要性也不断凸显。为了有效地利用海量信息并挖掘内在更大的价值，提升铁路公安实战应用能力、建立立体化综合防控体系。
1数据可视化简述
关于数据可视化的定义有很多，通常我们在大数据分析应用中所提到的可视化是指，利用包括图像和人机交互等在内的计算机技术，将已被采集的和需要被模拟的数据映射为更加直观的、满足人们需要的图形和图像。所以我们认为，“可视化”就是将人们感兴趣的信息数据转化为更加便于人们欣赏的图式化过程。显然更加侧重人对数据、信息和知识自上而下的加工处理过程。相对于繁杂的数据，图表不仅能更加简洁地表述信息，还适用于大量信息的描绘，即对大量数据的承载。这也是数据可视化成为大数据分析工具不可或缺的功能模块的主要原因。数据可视化包含三个分支，科学可视化、信息可视化和可视分析，其中可视分析是本文主要所讨论的一个分支。可视分析是随着人工智能的兴起而出现的一个新学科，它被定义为由可视交互界面为基础的分析推理科学，将图形学、数据挖掘、人机交互等技术融合在一起，形成人脑智能和机器智能优势互补和相互提升。
2大数据平台的铁路电务专业数据可视化交互系统
2.1数据库设计
运条基础线站信息与客票系统路网信息密切相关，运条信息为基础，客票系统应用运条信息规范的线站信息，在业务流程上具有上下工序关系，运条信息为客票基础信息的數据源，在数据存储层设计需要考虑运条信息与既有客票系统数据的便捷互通，综合分析运条信息的业务特点。①运条信息中包含线路、车站、里程、所属区域等表达规范的业务信息，此类信息设计采用与客票系统基础数据管理业务相同的关系型数据库方式存储。②运条信息中的接续线、客运价格执行说明、线附注等信息具有包含大量文本信息的特点，选择具有高性能、易部署、易使用的文档类数据库MongoDB作为辅数据库，采用MongoDB方式描述，可以充分利用其可扩展特性，当出现运条信息项增加时，只需要增加key-value对即可，适合运条信息日常业务存在不定期新增附录的特点。
2.2地理信息应用
铁路地理信息平台是铁路数据服务平台的重要组成部分，统一管理国家基础地理信息数据、铁路专业公用地理信息数据。利用铁路地理信息平台提供的电子地图服务，以2种方式实现地理信息应用：①直接访问铁路地理信息平台提供的电子地图服务，在网页上以遥感图、矢量图、3D图、实景图等方式展示机房、铁塔等设备的地理信息;②通过二次开发，定义设备及其及其异常状态（告警、障碍、故障）的自定义图符，这些自定义图符作为一个图层在电子地图上显示，当用户点击自定义图符时，可以展示对应设备的静态和动态数据，并可关联该设备所有相关功能。
2.3数据可视化
通信智能运维应用基于CSS、JavaScript、HTML5原生前端开发方式，利用ECharts组件实现数据可视化展示。在实现数据可视化展示时，考虑以下3个要点。①合理选择可视化展示形式，力求视觉效果直观、易于理解;如设备全寿命周期功能中，采用瀑布流形式，在时间轴上展示设备出厂、安装、上线、告警、故障、检修等事件，揭示设备“全寿命”过程;比较事物/现象的不同分类时采用柱状图，同一数据不同分类的展示采用饼状图，展示事物/现象变化趋势时采用折线图，展示定性数据采用热力图。②灵活运用形状、色彩、尺寸、位置等可视化元素来展示数据;如在地理信息应用功能中，为机房和铁塔等设备设施设计了自定义图符，用户从图符外观就能分辨出设备种类;在展示设备告警信息时，严重告警使用红色标记，一般告警使用黄色标记;用热力图展示设备数量时，设备数量多时用深蓝色，设备数量少时用浅蓝色;在设备健康管理中，设备质量总评分显示在页面正中，且字体加粗加大，各分项评分则排列在总评分的下方，且字体较小。③提供多层次、多路径链接展示数据，方便用户浏览和查看感兴趣的数据;如在展示全局的设备时，点击设备图符即可链接到站段、车间、工区的设备统计页面;在全寿命周期功能中，点击设备的每一个事件图符可进入详细信息页面;在作业卡控功能中，月计划完成情况页面上的热点可链接到日工单完成情况统计页面，进而链接至每日检修详情页面。
2.4实时数据
①实时数据采集与存储，电务专业实时业务数据具有实时性要求高、时延容忍度小、准确度要求高、可靠性需求高等特点，对此类专业数据的采集与存储过程如下：系统通过Kafka消息队列完成总线多线程处理，并创新性地采用数据独立线程、随进随出、同步存储的技术架构，较好地满足了实时性要求高、时延容忍度小的业务需求。对于准确度要求高的业务数据，在流处理过程中增加入库存储前有效字段校验流程，以确保数据完整性、有效性与准确性。对于可靠性需求高的业务数据，在Kafka分布式队列的设计实现中，利用备份策略增加副本数，当Kafka集群中的部分服务出现异常时，其他服务中留存有数据副本，实现数据冗余备份，防止数据更改或丢失。此外，适当延长Kafka消费数据有效期长度，在时间维度上增加了备份冗余数据的存在时长，确保数据可查验、可比对、可追溯。②实时数据更新，对于实时业务数据，在可视化之前除了要对数据进行高实时性低时延的有效采集与存储，还需对其进行及时更新，以确保可视化呈现的准确。在电务专业数据中，比较典型的实时性数据包括：告警数据、列车位置信息数据、设备接口状态数据等。
结语
经过一期大数据可视化分析平台的建设，已经形成了对海量数据的分析计算能力，在打击违法犯罪中取得了一定的成效。然而，在建设与应用过程当中，也显露出了一些亟待完善的问题，如缺乏前端信息采集和后端模型计算结果输出环节，没有形成大数据应用闭环;缺乏对数据的掌控能力，不稳定风险高;缺乏完善的移动端警务应用等。未来还将努力实现“纵向到底、横向到边”的数据联通、情报共享、全域感知、全时预警，将铁路公安工作由传统被动型应对处置向主动预判、预警、预防转变，实现铁路公安基础业务信息采集管理、线索梳查、铁路风险分析研判和情报预警、指挥调度支撑等实战应用，融合云技术、人工智能和大数据分析等新技术，真正做到“平安铁路、智慧铁警”。
参考文献
[1]张震.铁路公安大数据建设及分析应用探究[J].法制博览，2020（04）：171-172.
[2]李曦，周嵩岑.等保架构下移动警务系统安全评估研究[J].网络空间安全，2017，8（12）：13-16.
[3]王生玉.构建网络智能安全运维平台承载智慧警务未来安全发展[J].网络空间安全，2016，7（Z1）：82-87.
[4]马克.破坏铁路案件侦查要点实证研究[J].铁道警察学院学报，2019，29（02）：97-103.
[5]潘辉，张千洪，马亚洲.浅谈数字IP互联无线通信技术在铁路公安中的应用[J].数字通信世界，2018（11）：27+142.
中交二公局铁路建设有限公司，陕西西安 710100