论文部分内容阅读
【摘要】本文为了解决传统视频编码器推流终端需要人员现场操作而无法自主监控和多方异地远程操控的问题，本文提出商务会议场景下5 G智能直播终端应用研究，在终端内置嵌入式Linux OS板卡，加载云通信控制软件、AI边缘计算卡、5G路由传输模组构建边缘智能云终端，连接现场音、视频采集设备，通过云服务器交互，实现高效便捷的图像预处理和远程人机交互式。
【关键词】商务会议场景;直播终端;自助式互动;4K编码;5G模组;AI预处理
中图分类号：TN94 文献标识码：A DOI：10.12246/j.issn.1673-0348.2021.06..019
目前最常见的网络视频直播是手机APP直播、视频编码器直播。APP直播主要用于网红直播场景，由智能手机中的摄像头音视频采集、软件压缩编码、4G/5G传输完成。好处是操作便捷，但因手机摄像头广角、焦距和拾音的局限，手机运算能力有限，手机APP直播不适合商务会议场景下的4K高清直播。而视频编码器（也称采集卡）直播将专业摄像和采集编码传输做了分离，以专业编码器硬件处理4K视频，但大多不具备远程监控和云端操控能力，缺少移动互联网属性。为解决上述问题，本文提出了商务会议场景下5G智能直播终端的应用。
1. 自助式互动视频直播系统架构原理
常见的视频编码器，大多为内置RTMP传输协议的推流终端，直播前需手工配置网络推流地址。为实现终端自助智能化，就须增加云通信控制模块，使成为智能直播盒云终端。基于此构建的自助式互动视频直播系统如图1所示。
1.1 音视频采集接口
商务会议、赛事体育等场景下通常需采用高倍光学变焦 4K摄像机、多通道摄像机、单反作为专业摄像设备。专业摄像机的音视频输出接口主要为SDI或HDMI接口，可作为直播盒输入源，少数网络摄像头或平台拉流输出为IP接口（已编码的视频流），则需先解码或直接透传至云服务器处理。会场拾音设备通常采用调音台混响输出作为音频采集源，避免现场人多嘈杂的背景音干扰;调音台提供包括卡侬头、莲花头、6mm、3.5mm音频输出接口。
1.2 智能直播盒
智能直播盒可安装在会议厅也可移动携式。它一方面通过编码器模块从各类摄像机采集视频信号，另一方面通过5G路由模块与云平台和智能手机通信，在控制器中系统中响应来自平台的直播启停等指令，包括提取视频流、执行压缩编码、图像分析、传输码率流量控制、资源预留等操作，将预处理的视频通过5G或WAN端口以RTMP协议传送至云服务器。其结构如图2所示。
智能直播盒由四个模块：编码器模块、控制器与边缘计算模块、5G路由器模块和电源模块构成。其中编码器有对外的HDMI接口、SDI视频信号接口、3.5mm音频输入接口和对内LAN网口。1）编码器板卡对输入的4K视频信号做H.264/H.265硬件压缩编码，编码时延<5毫秒内。2）控制器与边缘计算模块为Linux操作系统板卡，安装云通信和AI图像运算软件，分别负责与云服务器通信控制和视频预处理。如AI运算量大，可将边缘计算单独拆分为专用硬件板卡，为支持4Kp60的视频解码建议使用64位四核处理器。3）5G路由器模块为集成5G传输模块、WiFi、WAN的路由器板卡，为其他板卡提供局域网连接;5G天线使用外置天线来加强接收信号，为电脑和手机提供5G无线热点的无线天线。4）电源模块一进三出，分別为其它模块提供12VDC供电。
1.3 云服务器
云服务器包括一系列即时通信服务器（IM服务器）、流媒体服务器、Web服务器和数据库服务器组成，如图3所示。
云服务器利用云计算服务器远程监控直播盒在线状态，根据状态监测结果，可对多个智能直播盒上传的多路视频流在云端中进行无缝切换，防止中断;IM服务器和Web服务器可远程地根据客户订单参数设置智能直播盒的视频码率、分辨率、控制和计费管理，并与微信用户授权登录、支付和分享界面对接，实现HTML5实时链接的快速分发。
2. 商务会议场景下的5G直播终端应用研究
2.1 通信协议和消息流向分析
5G直播终端与云直播平台通信协议和顺序消息流向分析如图3中所示。
控制/响应消息（①-②）：智能手机直播方以XMPP协议，经IM服务器向智能直播盒发送直播启、停等控制消息并接收响应。直播方还可对直播盒终端本身下达AI预处理、远程重启、软件升级、在线状态监测数据上报命令。
请求/响应消息（③-④）：直播盒向Web服务器、流媒体服务器请求相应端口和URL资源。流媒体服务器分配资源，直播结束后释放资源并返回通知。
A/V视频流（⑤-⑥-⑧-⑩-⑾）：直播盒对接收的视频信号⑤压缩编码、TS分段，再经5G路由以RTMP over TCP协议上传⑥。流媒体服务器对收到的视频流做转码、TS切片后写入云盘。观看端以HLS协议经CDN网络就近接入Web服务器请求视频源⑧。后者从云盘读取TS到内存⑩并为观看端统一提供实时更新的m3u8播放列表，观众端根据该列表下载最新TS切片，在浏览器解码播放。
请求/响应消息（⑦、⑧）：智能手机直播方对Web服务器请求直播操控界面，观看方在打开链接时向Web服务器请求直播间界面（HTTP协议）。
用户/视频信息（⑨）：Web服务器对每路直播视频生成唯一VID和URL访问标识，连同直播方用户信息、直播状态写入数据库并及时更新状态。观看端适时获取URL，读取状态;Web服务器将用户注册、登录等信息写入数据库。聊天消息（⑿⒀）：智能手机直播方和观看方通过IM服务器和Web服务器在直播间中进行群聊等互动。 2.2 5G智能直播终端的应用场景
5G智能直播盒可部署在大中型酒店会议厅、企业集团会议室、学校录播教室、户外无人机，操作人员可现场微信扫码或微信远程操控的方式来预定、发起和管理直播。下图4为VTC 5G智能直播盒的实物图。
在5G商业化推动下，部署5G智能直播盒到线下场馆可作为新媒体应用场景的专业视频“入口”，无需安装APP，直接分享直播链接到微信群或嵌入企业网站、APP、公众号，轻松帮助客户会议内容、培训内容上云管理。此外，5G智能直播盒集成了5G模组，无需独立的CPE。5G网络目前实测下行带宽约200M-800M，客户还同时可复用5G直播盒的WiFi热点实现5G上网办公。5G上行带宽实测100M足够4K超高清视频的传输，也可携带至户外对接无人机视频信号输入，组建轻量级5G应急通信网。直播盒中控制与边缘计算模块可升级软件，置入商务会议场景下所需的AI内容鉴别、靓照截图、实时字幕、语音指令等功能。5G时代UGC视频平台的属性和定位或将从4G时代的个人资讯和个人娱乐入口向更加广泛的商业资讯、体育赛事、重大活动、演艺娱乐等领域延伸扩展，并有可能继续在不同领域形成更加垂直、更加专业的UGC视频平台。
3. 结束语
商业会议场景5G智能直播终端应用研究是一种自助交互式视频直播系统，其特点是通过智能手机客户端浏览器的引导，远程控制多路5G智能播盒终端与云端连接，从而实现自助操控直播的启动、停止和AI预处理，并利用5G直播盒的多路視频热备份和云服务器状态监测，实现更可靠稳定的4K高清直播和快速分享社交网络用户。本文方案已在运营商的5G云直播业务场景中试商用，可结合运营商5G云网资源针对行业形成SaaS产品的5G行业应用。
参考文献：
[1]丁亦志，肖子玉，李邵平，等.高性能4K直播在5G网络中的应用[J].电信科学，2019（6）：150-156.
[2]卢迪，邱子欣.5G新媒体三大应用场景的入口构建与特征[J].现代传播：中国传媒大学学报，2019，041（007）：7-12.
[3]朱雪田，王秋红，张少伟，等.应急通信场景下的5G轻量核心网应用研究[J].电子技术应用，2020，v.46;No.500（02）：7-10+19.
作者简介：李灯，四川渠县，硕士研究生，工程师，目前从事视频直播终端和平台软件系统件架构相关工作。
【关键词】商务会议场景;直播终端;自助式互动;4K编码;5G模组;AI预处理
中图分类号：TN94 文献标识码：A DOI：10.12246/j.issn.1673-0348.2021.06..019
目前最常见的网络视频直播是手机APP直播、视频编码器直播。APP直播主要用于网红直播场景，由智能手机中的摄像头音视频采集、软件压缩编码、4G/5G传输完成。好处是操作便捷，但因手机摄像头广角、焦距和拾音的局限，手机运算能力有限，手机APP直播不适合商务会议场景下的4K高清直播。而视频编码器（也称采集卡）直播将专业摄像和采集编码传输做了分离，以专业编码器硬件处理4K视频，但大多不具备远程监控和云端操控能力，缺少移动互联网属性。为解决上述问题，本文提出了商务会议场景下5G智能直播终端的应用。
1. 自助式互动视频直播系统架构原理
常见的视频编码器，大多为内置RTMP传输协议的推流终端，直播前需手工配置网络推流地址。为实现终端自助智能化，就须增加云通信控制模块，使成为智能直播盒云终端。基于此构建的自助式互动视频直播系统如图1所示。
1.1 音视频采集接口
商务会议、赛事体育等场景下通常需采用高倍光学变焦 4K摄像机、多通道摄像机、单反作为专业摄像设备。专业摄像机的音视频输出接口主要为SDI或HDMI接口，可作为直播盒输入源，少数网络摄像头或平台拉流输出为IP接口（已编码的视频流），则需先解码或直接透传至云服务器处理。会场拾音设备通常采用调音台混响输出作为音频采集源，避免现场人多嘈杂的背景音干扰;调音台提供包括卡侬头、莲花头、6mm、3.5mm音频输出接口。
1.2 智能直播盒
智能直播盒可安装在会议厅也可移动携式。它一方面通过编码器模块从各类摄像机采集视频信号，另一方面通过5G路由模块与云平台和智能手机通信，在控制器中系统中响应来自平台的直播启停等指令，包括提取视频流、执行压缩编码、图像分析、传输码率流量控制、资源预留等操作，将预处理的视频通过5G或WAN端口以RTMP协议传送至云服务器。其结构如图2所示。
智能直播盒由四个模块：编码器模块、控制器与边缘计算模块、5G路由器模块和电源模块构成。其中编码器有对外的HDMI接口、SDI视频信号接口、3.5mm音频输入接口和对内LAN网口。1）编码器板卡对输入的4K视频信号做H.264/H.265硬件压缩编码，编码时延<5毫秒内。2）控制器与边缘计算模块为Linux操作系统板卡，安装云通信和AI图像运算软件，分别负责与云服务器通信控制和视频预处理。如AI运算量大，可将边缘计算单独拆分为专用硬件板卡，为支持4Kp60的视频解码建议使用64位四核处理器。3）5G路由器模块为集成5G传输模块、WiFi、WAN的路由器板卡，为其他板卡提供局域网连接;5G天线使用外置天线来加强接收信号，为电脑和手机提供5G无线热点的无线天线。4）电源模块一进三出，分別为其它模块提供12VDC供电。
1.3 云服务器
云服务器包括一系列即时通信服务器（IM服务器）、流媒体服务器、Web服务器和数据库服务器组成，如图3所示。
云服务器利用云计算服务器远程监控直播盒在线状态，根据状态监测结果，可对多个智能直播盒上传的多路视频流在云端中进行无缝切换，防止中断;IM服务器和Web服务器可远程地根据客户订单参数设置智能直播盒的视频码率、分辨率、控制和计费管理，并与微信用户授权登录、支付和分享界面对接，实现HTML5实时链接的快速分发。
2. 商务会议场景下的5G直播终端应用研究
2.1 通信协议和消息流向分析
5G直播终端与云直播平台通信协议和顺序消息流向分析如图3中所示。
控制/响应消息（①-②）：智能手机直播方以XMPP协议，经IM服务器向智能直播盒发送直播启、停等控制消息并接收响应。直播方还可对直播盒终端本身下达AI预处理、远程重启、软件升级、在线状态监测数据上报命令。
请求/响应消息（③-④）：直播盒向Web服务器、流媒体服务器请求相应端口和URL资源。流媒体服务器分配资源，直播结束后释放资源并返回通知。
A/V视频流（⑤-⑥-⑧-⑩-⑾）：直播盒对接收的视频信号⑤压缩编码、TS分段，再经5G路由以RTMP over TCP协议上传⑥。流媒体服务器对收到的视频流做转码、TS切片后写入云盘。观看端以HLS协议经CDN网络就近接入Web服务器请求视频源⑧。后者从云盘读取TS到内存⑩并为观看端统一提供实时更新的m3u8播放列表，观众端根据该列表下载最新TS切片，在浏览器解码播放。
请求/响应消息（⑦、⑧）：智能手机直播方对Web服务器请求直播操控界面，观看方在打开链接时向Web服务器请求直播间界面（HTTP协议）。
用户/视频信息（⑨）：Web服务器对每路直播视频生成唯一VID和URL访问标识，连同直播方用户信息、直播状态写入数据库并及时更新状态。观看端适时获取URL，读取状态;Web服务器将用户注册、登录等信息写入数据库。聊天消息（⑿⒀）：智能手机直播方和观看方通过IM服务器和Web服务器在直播间中进行群聊等互动。 2.2 5G智能直播终端的应用场景
5G智能直播盒可部署在大中型酒店会议厅、企业集团会议室、学校录播教室、户外无人机，操作人员可现场微信扫码或微信远程操控的方式来预定、发起和管理直播。下图4为VTC 5G智能直播盒的实物图。
在5G商业化推动下，部署5G智能直播盒到线下场馆可作为新媒体应用场景的专业视频“入口”，无需安装APP，直接分享直播链接到微信群或嵌入企业网站、APP、公众号，轻松帮助客户会议内容、培训内容上云管理。此外，5G智能直播盒集成了5G模组，无需独立的CPE。5G网络目前实测下行带宽约200M-800M，客户还同时可复用5G直播盒的WiFi热点实现5G上网办公。5G上行带宽实测100M足够4K超高清视频的传输，也可携带至户外对接无人机视频信号输入，组建轻量级5G应急通信网。直播盒中控制与边缘计算模块可升级软件，置入商务会议场景下所需的AI内容鉴别、靓照截图、实时字幕、语音指令等功能。5G时代UGC视频平台的属性和定位或将从4G时代的个人资讯和个人娱乐入口向更加广泛的商业资讯、体育赛事、重大活动、演艺娱乐等领域延伸扩展，并有可能继续在不同领域形成更加垂直、更加专业的UGC视频平台。
3. 结束语
商业会议场景5G智能直播终端应用研究是一种自助交互式视频直播系统，其特点是通过智能手机客户端浏览器的引导，远程控制多路5G智能播盒终端与云端连接，从而实现自助操控直播的启动、停止和AI预处理，并利用5G直播盒的多路視频热备份和云服务器状态监测，实现更可靠稳定的4K高清直播和快速分享社交网络用户。本文方案已在运营商的5G云直播业务场景中试商用，可结合运营商5G云网资源针对行业形成SaaS产品的5G行业应用。
参考文献：
[1]丁亦志，肖子玉，李邵平，等.高性能4K直播在5G网络中的应用[J].电信科学，2019（6）：150-156.
[2]卢迪，邱子欣.5G新媒体三大应用场景的入口构建与特征[J].现代传播：中国传媒大学学报，2019，041（007）：7-12.
[3]朱雪田，王秋红，张少伟，等.应急通信场景下的5G轻量核心网应用研究[J].电子技术应用，2020，v.46;No.500（02）：7-10+19.
作者简介：李灯，四川渠县，硕士研究生，工程师，目前从事视频直播终端和平台软件系统件架构相关工作。