视频会议系统以网络为媒介传输不同位置人或群体的音视频信息,实现不受地域限制的实时交互与沟通,已广泛应用于教育、办公和医疗等领域。传统视频会议系统在屏幕上扁平排列参会者视频画面,缺少沉浸式互动体验。3D视频会议系统中的虚拟会议室场景具有沉浸感,但大多需要借助深度摄像头和头戴式设备,成本较高且长时间使用会引起眩晕等不适。因此,如何在不使用3D眼镜和显示器的条件下,实现用户视频与虚拟会议室场景实时融合并增强用户沉浸感具有重要意义。为支持多人会议应用的需要,设计了一个适配多种终端同时接入的视频会议系统框架,并提出了虚拟会议室的视频场景实时融合方法与沉浸感增强技术。为了实现视频场景实时融合,在客户端本地使用轻量化网络模型对原始视频流进行人像背景分割,通过点对点连接传输无背景的人像视频到其它客户端。其它客户端将视频通过HTML画布转化成视频纹理,然后将视频纹理以3D模型表面贴图形式映射到虚拟会议室场景中。为了增强用户沉浸感,在客户端对无背景的人像视频继续使用网络模型处理,得到脸部、上半身和手部关键点位置。使用脸部标志点计算视角方向并分析音频流声音大小,实现视线跟随移动;根据上半身关键点绑定手臂动作映射到虚拟化身,实现第一人称视角;根据手部关键点检测当前手势动作,实现远程操控,提升参会者的沉浸式交互体验。基于Web浏览器开发网页即时通讯客户端,搭建Node.js信令服务器,实现了同时支持桌面端和移动终端设备的虚拟会议室视频会议系统并进行了初步测试。测试结果表明,参会者能以360度全景视野观看会议场景,4种手势动作的检测准确率均达到90%以上。在有4个参会者同时参加会议的情况下,系统的延时和抖动分别为78ms和26ms,丢包率为0.05%,符合视频会议在延时、抖动和丢包率等方面的参数要求。总之,该系统使得用户具有沉浸式会议体验,对于开发新一代三维视频会议系统具有一定的参考价值。