论文部分内容阅读
摘 要：本文对软交换+MCU独立硬件编解码架构的多媒体会议系统展开研究设计，其中软交换部分只处理信令和数据转发，将计算量较大的媒体处理部分交由处理能力更强的MCU专有硬件模块完成，最大程度的解耦信令处理与多媒体数据处理，节约成本，并可通过配置不同级别MCU模块以适应多种应用场景，在节约成本的同时提升多媒体会议用户体验。
关键词：多媒体会议;会议系统设计;MCU;会议控制
中图分类号：TN393 文献标识码：A DOI：10.3969/j.issn.1003-6970.2021.02.044
本文著录格式：徐伟.基于软交换+MCU独立架构的多媒体会议系统设计[J].软件，2021，42（02）：141-143
Design of Multimedia Conference System Based on Softswitch + MCU Independent Architecture
XU Wei
（Chengmai Technology （Nanjing） Co.， Ltd.， Nanjing Jiangsu 210000）
【Abstract】：This paper studies and designs a multimedia conference system based on Softswitch + MCU independent hardware codec architecture， the soft switch only deals with signaling and data forwarding， the media processing part with large amount of computation is completed by the special MCU hardware module with stronger processing ability， maximum decoupling of signaling processing and multimedia data processing， cost savings， different levels of MCU modules can be configured to adapt to a variety of application scenarios， improve the user experience of multimedia conference while saving cost.
【Key words】：multimedia conference;conference system design;MCU;conference control
0 引言
多媒体会议的出现极大地丰富了日常生活，工作中的沟通交流方式，实现了面对面交流。多媒体会议一般是将IP语音技术、计算机技术、通信技术和互联网技术相结合的新型产物，一般包括了音频、视频、电子白板等实时数据流，是集合现有通信技术优势而形成的新一代通信方式，特别是随着5G技术的不断应用，多媒体会议将带来更加高清，低时延的用户体验，将释放更大的应用潜力和价值。
在多媒體会议通信系统中主要包含了信令和实时流媒体数据，其中信令主要是指建立多媒体通信会话和会议控制管理相关的消息，处理过程简单，硬件资源占用较小，而流媒体数据包含了会议成员语音数据，视频图像数据，电子白板等实时数据流，处理过程复杂，需要占用较多硬件资源，特别是当会议成员人数较多，或会议成员多媒体数据编码格式不统一时，不同编码格式间多媒体数据编解码处理和混合运算将消耗大量硬件资源进行复杂的编解码转换数学运算，导致系统硬件需求急剧上增，随着系统硬件资源的耗尽，多媒体会议将出现卡顿、延迟、甚至无法通信的情况，严重影响用户体验。
MCU模块一般由专有架构或芯片构成，相比通用计算机平台具备更强的数据处理能力和数学运算能力，但逻辑处理能力相对较弱。在多媒体会议系统中信令处理虽然逻辑复杂，但运算量较少，一般的通用计算机处理能力就能胜任，而媒体数据处理则恰恰相反，需要较高的运算能力。基于以上分析，将多媒体会议中信令处理与媒体实时数据处理向分开，其中多媒体会议信令处理由通用计算机完成，而多媒体会议实时数据流由专有MCU模块完成，解决通用计算机处理能力不足导致多媒体会议卡顿、掉帧、黑屏等问题，通过较低成本搭建高可用性多媒体会议系统，改善多媒体会议用户体验。
1 多媒体会议系统架构设计
多媒体会议信令处理一般包括多媒体会话建立和会议控制管理，其中多媒体会话建立的协议系统主要有SIP、H.232、IAX2以及Google Talk等。
H.323由ITU在1996年提出，通过与IETF的资源预留协议（RSVP）等IP技术结合，可为分组网络提供多媒体通信，目前已形成第四版。H.323较早在IP网络上实现声音、视频和实时数据信息传输，奠定了全球范围内IP电话通信基础。SIP全称为会话初始化协议，由IETF在1999年提出，用于在IP网络中实现实时多媒体通信。SIP是基于应用层的控制协议，提供了REGISTER、INVITE、CANCEL、ACK、BYE、INFO等方法，主要用于建立、维持和终止多媒体会话，支持用户定位、用户有效性检查、用户性能检查、会话建立和会话管理。SIP协议本身不提供服务，而是作为会话建立的基础，配合SDP（Session Describe Protocol）协议、RTP（Real-time Transport Protocol）协议，SRTP
（Secure Real-time Transport Protocol）等协议构建完整的多媒体通信架构。SIP协议在设计之初就采用了以服务为目的的设计理念，具有简单、灵活和扩展性强的特点，相比H323协议更加适应IP网络发展，已成为语音会议发展的主流方向。 本文也将基于SIP协议，并且选择开源软件FreeS WITCH作为基于SIP的多媒体会议信令处理系统。FreeSWITCH创建于2006年，是世界上第一个基于IP的开源的跨平台电话软交换机引擎、PBX、多媒体网关等，既允许用户进行一对一的单个呼叫，也能组成能够处理数百万呼叫的大型服务器集群，已成为全球首屈一指的开源软交换平台，也被广泛应用到各类多媒体会议系统。
基于MCU的多媒体会议系统架构如图1所示，多媒体会议信令处理一般服务器（FreeSWITCH）完成，而MCU负责完成多媒体会议成员音视频实时数据编码解码，视频画面融屏拼接，电子白板等复杂处理运算，数据流如图1所示。
图1所示服务器运行信令处理部分负责信令消息解析，其中信令处理部分完成多媒体会议成员注册，注销和状态管理，以及会话建立、管理、维护;会议控制管理负责MCU资源分配和释放，当多媒体成员需要对其音视频数据编解码处理或融屏处理时，会议控制模块向MCU下发资源请求和参数控制MCU工作，当会议成员结束通话后会议控制模块向MCU下发资源释放请求，回收硬件资源;而多媒体会议中的实时数据流则交由专有MCU模块处理，其负责完成多媒体会议成员音视频实时数据编码-解码-融屏等复杂处理运算;MCU则根据会议控制管理下发请求及参数进行复杂的数学运算处理，完成音视频数据转码，混屏等操作，然后将处理后的数据发送至用户成员，系统架构如图2所示。
2 多媒体会议系统处理流程设计
基于本文架构的多媒体会议系统，信令模块只负责处理SIP消息处理和会话建立，包括了用户注册、会议创建与管理、成员加入与请出，以及会议销毁等功能。
当信令模块收到一个多媒体呼叫后，首先检查本地是否已经存在该多媒体的虚拟会议室，如果不存在先新建一个虚拟会议室，用于多媒体会议管理控制，并由多媒体会议控制管理模块根据相关参数向MCU下发媒体资源请求，分配媒体资源用于会议成员多媒体处理;当存在虛拟会议室时会议成员直接加入该会议室进行多媒体会议通信，并请求MCU分配硬件资源，而当最后一个会议成员结束会话后，直接销毁该虚拟会议室，并释放MCU硬件资源，SIP消息具体流程如图3所示。
由于本文将多媒体会议成员实时媒体数据与信令处理相互分开，根据SIP协议规范，在多媒体会议成员加入会议时需要协商将多媒体数据发送至MCU模块进行处理，修改手动修改INVITE消息SDP信息，将SDP信息中标识对端IP地址的c行修改为MCU模块IP地址，会话建立后，终端就直接将多媒体媒体数据发送至MCU模块，MCU模块根据会议控制管理请求参数完成数据处理，并将处理后的多媒体数据发送至用户终端。
3 语音会议系统数据流分析
为测试本文设计的基于MCU硬件架构的多媒体会议处理性能，本文选用SIPp自动测试工具进行性能测试。SIPp是一款遵循GPL的SIP协议性能测试开放源软件，通过配置参数文件可测试设备编解码能力，常用于SIP代理设备、SIP媒体服务器、SIP网关等真实设备性能测试，表1为使用1组MCU模块编解码测试结果。
从表1中测试结果可得，多媒体会议质量与系统会议个数和每个会议规模相关性较弱，与系统总会话数相关性较强，当总会话数超过90个时，话音质量清晰，但已出现延时，且视频图像出现掉帧，而当系统总会话数超过100个时，话音质量不清晰，且延时明显，视频图像存在黑屏情况，主要原因是随着会话数量的增加，MCU硬件资源不足，导致编解码和混屏处理时延增加，话音出现延时和不清晰，但将多媒体会议媒体数据处理单独独立出来，使得系统媒体处理能力可以通过配置不同MCU灵活改变，解决系统媒体处理瓶颈问题，灵活配置适配不同应用场景。
4 结语
本文设计的多媒体会议系统将会议成员信令控制和话音数据处理分开，其中信令模块只负责处理信令，而会议控制管理只复杂会议管理，MCU负责全部的音视频编解码和融屏处理，将系统中易造成性能瓶颈的媒体编解码独立出来，通过增加或减少MCU编解码模块数量来灵活配置系统可会议支持能力，以适应不同的应用场景，提升用户体验。
参考文献
[1] 亓振.基于FreeSWITCH的软交换通信系统的设计与实现[D].西安：西安电子科技大学，2017.
[2] 何晨泽，曹毅.基于SIPp的SIP协议性能测试研究与应用[J].电子技术与软件工程，2014（15）：43-45.
[3] 张钰.基于FreeSWITCH的视频会议系统服务器端的研究与实现[D].北京：北京邮电大学，2019.
[4] 刘一帆，韩卫占，方强.基于SIP协议的跨域会议控制机制设计[J].电子测量技术，2019（16）：12-16.
[5] 张洪，刘虹.SIP多方视频会议应用服务器设计与实现[J].科技与创新，2019（21）：94+97.
[6] 任子龙.基于SIP协议的多媒体通信系统的设计与实现[D].北京：北京邮电大学，2019.
关键词：多媒体会议;会议系统设计;MCU;会议控制
中图分类号：TN393 文献标识码：A DOI：10.3969/j.issn.1003-6970.2021.02.044
本文著录格式：徐伟.基于软交换+MCU独立架构的多媒体会议系统设计[J].软件，2021，42（02）：141-143
Design of Multimedia Conference System Based on Softswitch + MCU Independent Architecture
XU Wei
（Chengmai Technology （Nanjing） Co.， Ltd.， Nanjing Jiangsu 210000）
【Abstract】：This paper studies and designs a multimedia conference system based on Softswitch + MCU independent hardware codec architecture， the soft switch only deals with signaling and data forwarding， the media processing part with large amount of computation is completed by the special MCU hardware module with stronger processing ability， maximum decoupling of signaling processing and multimedia data processing， cost savings， different levels of MCU modules can be configured to adapt to a variety of application scenarios， improve the user experience of multimedia conference while saving cost.
【Key words】：multimedia conference;conference system design;MCU;conference control
0 引言
多媒体会议的出现极大地丰富了日常生活，工作中的沟通交流方式，实现了面对面交流。多媒体会议一般是将IP语音技术、计算机技术、通信技术和互联网技术相结合的新型产物，一般包括了音频、视频、电子白板等实时数据流，是集合现有通信技术优势而形成的新一代通信方式，特别是随着5G技术的不断应用，多媒体会议将带来更加高清，低时延的用户体验，将释放更大的应用潜力和价值。
在多媒體会议通信系统中主要包含了信令和实时流媒体数据，其中信令主要是指建立多媒体通信会话和会议控制管理相关的消息，处理过程简单，硬件资源占用较小，而流媒体数据包含了会议成员语音数据，视频图像数据，电子白板等实时数据流，处理过程复杂，需要占用较多硬件资源，特别是当会议成员人数较多，或会议成员多媒体数据编码格式不统一时，不同编码格式间多媒体数据编解码处理和混合运算将消耗大量硬件资源进行复杂的编解码转换数学运算，导致系统硬件需求急剧上增，随着系统硬件资源的耗尽，多媒体会议将出现卡顿、延迟、甚至无法通信的情况，严重影响用户体验。
MCU模块一般由专有架构或芯片构成，相比通用计算机平台具备更强的数据处理能力和数学运算能力，但逻辑处理能力相对较弱。在多媒体会议系统中信令处理虽然逻辑复杂，但运算量较少，一般的通用计算机处理能力就能胜任，而媒体数据处理则恰恰相反，需要较高的运算能力。基于以上分析，将多媒体会议中信令处理与媒体实时数据处理向分开，其中多媒体会议信令处理由通用计算机完成，而多媒体会议实时数据流由专有MCU模块完成，解决通用计算机处理能力不足导致多媒体会议卡顿、掉帧、黑屏等问题，通过较低成本搭建高可用性多媒体会议系统，改善多媒体会议用户体验。
1 多媒体会议系统架构设计
多媒体会议信令处理一般包括多媒体会话建立和会议控制管理，其中多媒体会话建立的协议系统主要有SIP、H.232、IAX2以及Google Talk等。
H.323由ITU在1996年提出，通过与IETF的资源预留协议（RSVP）等IP技术结合，可为分组网络提供多媒体通信，目前已形成第四版。H.323较早在IP网络上实现声音、视频和实时数据信息传输，奠定了全球范围内IP电话通信基础。SIP全称为会话初始化协议，由IETF在1999年提出，用于在IP网络中实现实时多媒体通信。SIP是基于应用层的控制协议，提供了REGISTER、INVITE、CANCEL、ACK、BYE、INFO等方法，主要用于建立、维持和终止多媒体会话，支持用户定位、用户有效性检查、用户性能检查、会话建立和会话管理。SIP协议本身不提供服务，而是作为会话建立的基础，配合SDP（Session Describe Protocol）协议、RTP（Real-time Transport Protocol）协议，SRTP
（Secure Real-time Transport Protocol）等协议构建完整的多媒体通信架构。SIP协议在设计之初就采用了以服务为目的的设计理念，具有简单、灵活和扩展性强的特点，相比H323协议更加适应IP网络发展，已成为语音会议发展的主流方向。 本文也将基于SIP协议，并且选择开源软件FreeS WITCH作为基于SIP的多媒体会议信令处理系统。FreeSWITCH创建于2006年，是世界上第一个基于IP的开源的跨平台电话软交换机引擎、PBX、多媒体网关等，既允许用户进行一对一的单个呼叫，也能组成能够处理数百万呼叫的大型服务器集群，已成为全球首屈一指的开源软交换平台，也被广泛应用到各类多媒体会议系统。
基于MCU的多媒体会议系统架构如图1所示，多媒体会议信令处理一般服务器（FreeSWITCH）完成，而MCU负责完成多媒体会议成员音视频实时数据编码解码，视频画面融屏拼接，电子白板等复杂处理运算，数据流如图1所示。
图1所示服务器运行信令处理部分负责信令消息解析，其中信令处理部分完成多媒体会议成员注册，注销和状态管理，以及会话建立、管理、维护;会议控制管理负责MCU资源分配和释放，当多媒体成员需要对其音视频数据编解码处理或融屏处理时，会议控制模块向MCU下发资源请求和参数控制MCU工作，当会议成员结束通话后会议控制模块向MCU下发资源释放请求，回收硬件资源;而多媒体会议中的实时数据流则交由专有MCU模块处理，其负责完成多媒体会议成员音视频实时数据编码-解码-融屏等复杂处理运算;MCU则根据会议控制管理下发请求及参数进行复杂的数学运算处理，完成音视频数据转码，混屏等操作，然后将处理后的数据发送至用户成员，系统架构如图2所示。
2 多媒体会议系统处理流程设计
基于本文架构的多媒体会议系统，信令模块只负责处理SIP消息处理和会话建立，包括了用户注册、会议创建与管理、成员加入与请出，以及会议销毁等功能。
当信令模块收到一个多媒体呼叫后，首先检查本地是否已经存在该多媒体的虚拟会议室，如果不存在先新建一个虚拟会议室，用于多媒体会议管理控制，并由多媒体会议控制管理模块根据相关参数向MCU下发媒体资源请求，分配媒体资源用于会议成员多媒体处理;当存在虛拟会议室时会议成员直接加入该会议室进行多媒体会议通信，并请求MCU分配硬件资源，而当最后一个会议成员结束会话后，直接销毁该虚拟会议室，并释放MCU硬件资源，SIP消息具体流程如图3所示。
由于本文将多媒体会议成员实时媒体数据与信令处理相互分开，根据SIP协议规范，在多媒体会议成员加入会议时需要协商将多媒体数据发送至MCU模块进行处理，修改手动修改INVITE消息SDP信息，将SDP信息中标识对端IP地址的c行修改为MCU模块IP地址，会话建立后，终端就直接将多媒体媒体数据发送至MCU模块，MCU模块根据会议控制管理请求参数完成数据处理，并将处理后的多媒体数据发送至用户终端。
3 语音会议系统数据流分析
为测试本文设计的基于MCU硬件架构的多媒体会议处理性能，本文选用SIPp自动测试工具进行性能测试。SIPp是一款遵循GPL的SIP协议性能测试开放源软件，通过配置参数文件可测试设备编解码能力，常用于SIP代理设备、SIP媒体服务器、SIP网关等真实设备性能测试，表1为使用1组MCU模块编解码测试结果。
从表1中测试结果可得，多媒体会议质量与系统会议个数和每个会议规模相关性较弱，与系统总会话数相关性较强，当总会话数超过90个时，话音质量清晰，但已出现延时，且视频图像出现掉帧，而当系统总会话数超过100个时，话音质量不清晰，且延时明显，视频图像存在黑屏情况，主要原因是随着会话数量的增加，MCU硬件资源不足，导致编解码和混屏处理时延增加，话音出现延时和不清晰，但将多媒体会议媒体数据处理单独独立出来，使得系统媒体处理能力可以通过配置不同MCU灵活改变，解决系统媒体处理瓶颈问题，灵活配置适配不同应用场景。
4 结语
本文设计的多媒体会议系统将会议成员信令控制和话音数据处理分开，其中信令模块只负责处理信令，而会议控制管理只复杂会议管理，MCU负责全部的音视频编解码和融屏处理，将系统中易造成性能瓶颈的媒体编解码独立出来，通过增加或减少MCU编解码模块数量来灵活配置系统可会议支持能力，以适应不同的应用场景，提升用户体验。
参考文献
[1] 亓振.基于FreeSWITCH的软交换通信系统的设计与实现[D].西安：西安电子科技大学，2017.
[2] 何晨泽，曹毅.基于SIPp的SIP协议性能测试研究与应用[J].电子技术与软件工程，2014（15）：43-45.
[3] 张钰.基于FreeSWITCH的视频会议系统服务器端的研究与实现[D].北京：北京邮电大学，2019.
[4] 刘一帆，韩卫占，方强.基于SIP协议的跨域会议控制机制设计[J].电子测量技术，2019（16）：12-16.
[5] 张洪，刘虹.SIP多方视频会议应用服务器设计与实现[J].科技与创新，2019（21）：94+97.
[6] 任子龙.基于SIP协议的多媒体通信系统的设计与实现[D].北京：北京邮电大学，2019.