私有云有着安全且服务质量高等优势而深受各企业的欢迎,它是云计算的一种服务模式。在硬件和软件日趋更新且终端设备不断更换的当今社会,把数据保存在云端将带来很大的便利,人们只需在终端上安装云客户端,便可使用云端资源而不用更新太多软件。VNC(Virtual Network Computing)协议是连接终端设备和私有云之间的桥梁,用户在使用私有云桌面环境进行办公时,便是用VNC协议进行的图像、鼠标和键盘等消息的传输,VNC使得用户可以远程操作云端资源。VNC的图像传输采用的是RFB(Remote Frame Buffer远程帧缓冲)协议,RFB协议工作在帧缓冲级别上,不依靠任何操作系统和终端设备。正是这个原因使得VNC能够跨平台,但是VNC对视频流的支持不足成了它的弱点,且VNC不支持音频,这些对只是用VNC来办公的人们来说影响不大,但是随着多媒体的不断发展,人们不满足使用私有云来办公,VNC的缺点也逐渐受到了人们关注。本文将对VNC进行修改,使其满足于多媒体的传输,弥补VNC的不足。其具体思路是在不影响原有VNC的办公模式的前提下,增加音视频模式。在音视频模式下,增加音频功能,并采用适合VNC的音视频压缩算法如JPEG2000视频压缩算法与Opus音频压缩算法对其进行压缩传输,优化网络通信使其有能力处理大量的网络数据,当然,优化了视频,增加了音频功能后,为了提高用户体验,本文将实现音视频同步。对于同步问题,这里采用的是以时间戳为参考对象的同步方案来进行音视频间的同步,采用增加缓冲区的方式来减小音视频内部的传输时延,并增加反馈调节功能,根据预测网络带宽来调整VNC服务端的发送速率,以此来保证数据的连续性并降低音视频的网络时延。对于音视频播放时的同步问题,这里将提出一种以音频为参考的同步播放算法来实现音视频播放时的同步问题。这些便是在音视频模式下本文解决的问题,由于这里是分为非音视频模式,即VNC模式和音视频模式这两种模式,因此进行模式检测将必不可少,本系统的模式检测将根据屏幕变化来判断当前应该处于哪种模式下,并进行模式转换,这里采用屏幕像素采样的方式进行判断。通过对VNC协议进行优化,使其能够进行音视频传输来满足人们使用多媒体的需要,同时保留了原有VNC跨平台的特性,使人们能在办公之余使用VNC来休闲娱乐。