论文部分内容阅读
摘 要：针对基于物联网设备，设计并实现主动安全管理平台。提出平台的产品思路和前后端设计方案，并详细介绍平台各个模块的主要功能，关键技术及应用场景。该平台依托设备的Adas功能，DSM功能，以及8路摄像头搭配盲区监测摄像头，为管理部门和道路监管部门的提供数据支持。
关键词：物联网;位置;设备;音视频处理
中图分类号：TP311
1引言
随着网速提高，网络普及，无线接入多样化，联网设备的小型化，所有物体都可以通过加装相应的联网设备而加入物联网。快递的7日达已经无法使人们满意，今日到或者次日到已经慢慢普及，因此伴随着这些高时效的要求，一些列的交通事故的发生也成为必然，交通安全的监管成为各个中大型城市越来越重要的事情，而车队管理者或者监管部门智能化没那么普及的情况下，导致监管效果其实并不明显。基于这种情况，本文设计并实现了一个基于物联网设备的主动安全监管平台，该平台通过预警机制和实时监控方便司机配合指挥中心的调度和安排，可以有效的提高工作效率和避免事故的发生。
该平台依托物联网设备上传的数据信息，实现了三个层次的能力，包括数据采集，数据解析，平台展示。其中数据采集主要依靠物联网设备的主动上传，包括定位和音视频流;数据解析包含两部分，包括基础定位的解析，以及音视频流的解析、分离和解码;平台展示包含实时定位的展示，轨迹的回放，视频的实时监控以及视频回放和位置的监控。
2 系统架构设计
基于图1所示的系统架构，在终端层，通过4G/5G/NB-IoT/LoRa传输网络对位置信息及收集的其他数据进行传输。
网络层通过基于TCP/UDP/MQTT/CoAP传输协议进行数据传输和数据共享。
接入网关和存储层，通过Netty网关对设备协议进行解析，区分设备的定位包，心跳包或者是音视频包，并传输到数据处理层。数据处理层将设备定位信息推入消息队列Kakfa中，业务系统根据设备信息以及设备报警配置、门店报警配置信息和模型数据，生成的报警，并存入Hbase、Redis、MySQL数据库。
平台通过接口调用，获取设备信息，根据功能模块进行展示，并且使用websocket通过电信云服务器跟设备建立连接，获取音视频数据，并经过客户端的一些列的处理实现视频和音频的播放。
3 音视频处理流程设计
音视频处理流程设计包括以下几个步骤：
（1）硬件协议接入：硬件设备支持多种协议的接入，包括TCP/UDP/MQTT/CoAP等方式。服务器端使用Netty进行协议解析，区分定位包，心跳包以及音视频包。
808协议的消息结构如下：
（2）数据处理：定位和报警信息通过Kafka推送，存储到HBASE，MySQL和Redis数据库;Adas相关数据经过视频服务器的转发，报警证据直接存储到阿里云OSS，另一部分音视频流直接传给客户端，交个客户端进行处理。
（3）客户端视频流处理及展示：如图3所示，客户端接收到从服务器推过来的流媒体数据，首先将流媒体协议数据解析为标准的封装格式的数据;其次是编码数据分离：将常见的封装格式的数据，如MP4，AVI等分离成经过压缩编码的视频码流和音频码流，常用的音视频编码方式分别为ACC编码和H.264;接下来是解码：将压缩的码流解析为非压缩的音视频的原始数据，解码后的音视频格式常见的为PCM和RGB;最终是音视频同步在客户端的播放器中播放。
4 硬件设计
硬件配置如下图：包含一个主机和8路摄像头
硬件内部采用快速分割算法识别系统，可以实现脸部识别和视线追踪功能。脸部识别分割样图如下：
脸部识别和视线追踪功能可以识别包括脸部动作，如闭眼，打哈欠等，识别后设备会主动触报警，直接通过语音提醒司机注意驾驶安全。
硬件配置的防撞系统配置，通过采集大量的数据做算法训练，可以识别1000+种车型，行人的识别以及天气的适应，让司机可以在不同天气下可以避免碰撞事故的发生。
硬件配置还可以实现Adas功能DSM功能。
Adas功能主要包含路面状况监控，车距监控预警，车道偏离预警，前车碰撞预警和行人检测。这些数据会通过设备直接接入平台，设备和平台有实时语音提醒，既会提醒司机小心驾驶，又会在平台提醒监管人员有货车司机的异常驾驶，并存储报警证据，为监管人员提供数据支持。
DSM功能可以通过人脸识别，实时监控驾驶员的行为状态，可以有效的降低疲劳驾驶带来的潜在危险。
5 平台功能设计及应用场景介绍
5.1平台功能设计
（1）数据展板，提供AI主动安全监控，把异常车辆和有风险的车辆以及发生风险的车辆实时在线统计，车辆报警数统计、异常车辆的实时证据播放以及近一周的报警趋势变化，方便管理人员可以实时返现和监管异常车辆，便于排查问题。
轨迹回放：可以进行轨迹回放查询，停留点配置显示，轨迹明细统计，停车详情统计，为时候找车和定位车辆异常提供可视化的依据。
视频追踪：不同车辆多通道实时视频播放，把重点监控车辆直接放在一个屏幕，实时进行监听和语音对讲，方便司机配合指挥中心的调度以及安排，可以有效的提高工作效率和避免事故的发生。
视频回放：只要是对发生事故或者根据大数据统计出来的驾驶行为异常分析，重点回放某些时间段司机的异常驾驶行为，用规章进行考核司机，便于车队的正规可视化的管理;同时，视频支持本地下载，如果需要让员工认可处罚，可以把相关视频导出，作为处罚证据保留。
报警设置：从账号维度和设备维度，两个维度可以进行报警规则设置，报警生成逻辑的优先级是设备维度的大于门店维度的。比如超速报警，可以定义在报警池中的报警间隔以及超速逻辑，包括厂区外报警规则、厂区内报警规则以及开关设置等等。
车辆管理：货运场景大部分是车队管理，车辆信息的管理以前都是简单的Excel管理，既没办法有效的查询和记录，存储也不方便，效率偏低。平台的车辆管理就可以解决这个问题，监管人员可以批量增加車辆和驾驶员信息，出现内部驾驶员或者车辆变更的时候也可以及时更新，需要统计结果输出的时候也能从平台实时导出，可以极大的提高办事效率。
5.2 应用场景
物流公司：对于特定环境，对车辆的行驶速度，转弯速度有着不同的要求，对于安全事故以及预警，可以提供作为参考的证据-报警视频;因为货运司机压力一般比较大，抽烟容易分神，需要关闭语音提醒，截取视频给监管人员。
6结语
本文结合物联网硬件，设计并实现了一种基于位置服务的主动安全监管平台。该平台主要是为物流公司等，这种刚刚接入物联网行业的公司提供服务。概括来说，本文主要完成了如下工作和成果：
提供了基于物联网设备进行主动安全平台设计的总体架构设计，并总结了系统不同层级的主要功能。
详细并着重的介绍了基于物联网硬件的音视频处理能力以及前后端实现方案，包括从物联网硬件的接入、协议解析，解封装，解码等操作。
详细介绍了平台的几个重大功能模块，包括实时定位，追踪，视频的实时监控，回放，以及报警的实时推送与统计。介绍了每个模块的实现模型以及应用场景。
参考文献：
[1]杨军. 试论物联网数据处理的关键技术[J]. 计算机产品与流通， 2020， 08， 60.
[2]杨芳 傅民仓.基于H.264编解码技术的视频网络传输.科技视界. 2013，（32）
作者简介：
马卫平，19861101，女，汉，河南省开封市，在职研究生，研究方向管理科学与工程。
关键词：物联网;位置;设备;音视频处理
中图分类号：TP311
1引言
随着网速提高，网络普及，无线接入多样化，联网设备的小型化，所有物体都可以通过加装相应的联网设备而加入物联网。快递的7日达已经无法使人们满意，今日到或者次日到已经慢慢普及，因此伴随着这些高时效的要求，一些列的交通事故的发生也成为必然，交通安全的监管成为各个中大型城市越来越重要的事情，而车队管理者或者监管部门智能化没那么普及的情况下，导致监管效果其实并不明显。基于这种情况，本文设计并实现了一个基于物联网设备的主动安全监管平台，该平台通过预警机制和实时监控方便司机配合指挥中心的调度和安排，可以有效的提高工作效率和避免事故的发生。
该平台依托物联网设备上传的数据信息，实现了三个层次的能力，包括数据采集，数据解析，平台展示。其中数据采集主要依靠物联网设备的主动上传，包括定位和音视频流;数据解析包含两部分，包括基础定位的解析，以及音视频流的解析、分离和解码;平台展示包含实时定位的展示，轨迹的回放，视频的实时监控以及视频回放和位置的监控。
2 系统架构设计
基于图1所示的系统架构，在终端层，通过4G/5G/NB-IoT/LoRa传输网络对位置信息及收集的其他数据进行传输。
网络层通过基于TCP/UDP/MQTT/CoAP传输协议进行数据传输和数据共享。
接入网关和存储层，通过Netty网关对设备协议进行解析，区分设备的定位包，心跳包或者是音视频包，并传输到数据处理层。数据处理层将设备定位信息推入消息队列Kakfa中，业务系统根据设备信息以及设备报警配置、门店报警配置信息和模型数据，生成的报警，并存入Hbase、Redis、MySQL数据库。
平台通过接口调用，获取设备信息，根据功能模块进行展示，并且使用websocket通过电信云服务器跟设备建立连接，获取音视频数据，并经过客户端的一些列的处理实现视频和音频的播放。
3 音视频处理流程设计
音视频处理流程设计包括以下几个步骤：
（1）硬件协议接入：硬件设备支持多种协议的接入，包括TCP/UDP/MQTT/CoAP等方式。服务器端使用Netty进行协议解析，区分定位包，心跳包以及音视频包。
808协议的消息结构如下：
（2）数据处理：定位和报警信息通过Kafka推送，存储到HBASE，MySQL和Redis数据库;Adas相关数据经过视频服务器的转发，报警证据直接存储到阿里云OSS，另一部分音视频流直接传给客户端，交个客户端进行处理。
（3）客户端视频流处理及展示：如图3所示，客户端接收到从服务器推过来的流媒体数据，首先将流媒体协议数据解析为标准的封装格式的数据;其次是编码数据分离：将常见的封装格式的数据，如MP4，AVI等分离成经过压缩编码的视频码流和音频码流，常用的音视频编码方式分别为ACC编码和H.264;接下来是解码：将压缩的码流解析为非压缩的音视频的原始数据，解码后的音视频格式常见的为PCM和RGB;最终是音视频同步在客户端的播放器中播放。
4 硬件设计
硬件配置如下图：包含一个主机和8路摄像头
硬件内部采用快速分割算法识别系统，可以实现脸部识别和视线追踪功能。脸部识别分割样图如下：
脸部识别和视线追踪功能可以识别包括脸部动作，如闭眼，打哈欠等，识别后设备会主动触报警，直接通过语音提醒司机注意驾驶安全。
硬件配置的防撞系统配置，通过采集大量的数据做算法训练，可以识别1000+种车型，行人的识别以及天气的适应，让司机可以在不同天气下可以避免碰撞事故的发生。
硬件配置还可以实现Adas功能DSM功能。
Adas功能主要包含路面状况监控，车距监控预警，车道偏离预警，前车碰撞预警和行人检测。这些数据会通过设备直接接入平台，设备和平台有实时语音提醒，既会提醒司机小心驾驶，又会在平台提醒监管人员有货车司机的异常驾驶，并存储报警证据，为监管人员提供数据支持。
DSM功能可以通过人脸识别，实时监控驾驶员的行为状态，可以有效的降低疲劳驾驶带来的潜在危险。
5 平台功能设计及应用场景介绍
5.1平台功能设计
（1）数据展板，提供AI主动安全监控，把异常车辆和有风险的车辆以及发生风险的车辆实时在线统计，车辆报警数统计、异常车辆的实时证据播放以及近一周的报警趋势变化，方便管理人员可以实时返现和监管异常车辆，便于排查问题。
轨迹回放：可以进行轨迹回放查询，停留点配置显示，轨迹明细统计，停车详情统计，为时候找车和定位车辆异常提供可视化的依据。
视频追踪：不同车辆多通道实时视频播放，把重点监控车辆直接放在一个屏幕，实时进行监听和语音对讲，方便司机配合指挥中心的调度以及安排，可以有效的提高工作效率和避免事故的发生。
视频回放：只要是对发生事故或者根据大数据统计出来的驾驶行为异常分析，重点回放某些时间段司机的异常驾驶行为，用规章进行考核司机，便于车队的正规可视化的管理;同时，视频支持本地下载，如果需要让员工认可处罚，可以把相关视频导出，作为处罚证据保留。
报警设置：从账号维度和设备维度，两个维度可以进行报警规则设置，报警生成逻辑的优先级是设备维度的大于门店维度的。比如超速报警，可以定义在报警池中的报警间隔以及超速逻辑，包括厂区外报警规则、厂区内报警规则以及开关设置等等。
车辆管理：货运场景大部分是车队管理，车辆信息的管理以前都是简单的Excel管理，既没办法有效的查询和记录，存储也不方便，效率偏低。平台的车辆管理就可以解决这个问题，监管人员可以批量增加車辆和驾驶员信息，出现内部驾驶员或者车辆变更的时候也可以及时更新，需要统计结果输出的时候也能从平台实时导出，可以极大的提高办事效率。
5.2 应用场景
物流公司：对于特定环境，对车辆的行驶速度，转弯速度有着不同的要求，对于安全事故以及预警，可以提供作为参考的证据-报警视频;因为货运司机压力一般比较大，抽烟容易分神，需要关闭语音提醒，截取视频给监管人员。
6结语
本文结合物联网硬件，设计并实现了一种基于位置服务的主动安全监管平台。该平台主要是为物流公司等，这种刚刚接入物联网行业的公司提供服务。概括来说，本文主要完成了如下工作和成果：
提供了基于物联网设备进行主动安全平台设计的总体架构设计，并总结了系统不同层级的主要功能。
详细并着重的介绍了基于物联网硬件的音视频处理能力以及前后端实现方案，包括从物联网硬件的接入、协议解析，解封装，解码等操作。
详细介绍了平台的几个重大功能模块，包括实时定位，追踪，视频的实时监控，回放，以及报警的实时推送与统计。介绍了每个模块的实现模型以及应用场景。
参考文献：
[1]杨军. 试论物联网数据处理的关键技术[J]. 计算机产品与流通， 2020， 08， 60.
[2]杨芳 傅民仓.基于H.264编解码技术的视频网络传输.科技视界. 2013，（32）
作者简介：
马卫平，19861101，女，汉，河南省开封市，在职研究生，研究方向管理科学与工程。