基于PKUnity-3系统芯片的高清实时视频通信客户端设计与实现

来源 :北京大学 | 被引量 : 0次 | 上传用户:xoyo20001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,视频通信已成为人们广泛使用的一种通信方式。随着网络带宽的提升、音视频处理技术的发展以及大屏幕智能电视的普及,高清实时视频通信成为视频通信发展的趋势之一。复杂的网络环境、大屏幕高清的输出设备以及开放式的交互环境也为视频通信技术带来了新的挑战。本文将基于PKUnity-3系统芯片,设计并实现一款高清实时视频通信客户端,重点解决了会话逻辑管理、声学回声处理和资源分配管理等问题。  本文基于PKUnity-3系统芯片,设计并实现了高清实时视频通信客户端的会话逻辑。结合SIP协议分析会话创建和音视频传输信道建立的过程,对客户端状态进行划分,实现了基于状态机转换的会话逻辑。对于网络地址转换设备带来的音视频信道无法连通的问题,采用STUN网络穿透方法,实现音视频数据流在非对称型网络地址转换设备之间的传输。  在多媒体处理部分,基于已有高清视频方面的工作基础,重点解决音频采集、播放和开放式交互环境下的声学回声处理问题。采用实时速率估计、音频重采样和缓冲区技术,实现音频的稳定采集和播放;结合平台特性,综合使用预设播放缓冲区延迟和自适应估计算法确定回声延迟,利用自适应滤波算法实现声学回声消除。设计并实现回声处理算法状态转换机制,保证算法的稳定性。针对回声处理算法中计算密集的代码片段,利用环形缓冲区技术和SIMD指令进行优化。实验结果表明,8K采样率下音频数据的平均处理时间达到1.6的加速比,满足高清视频通信实时性的需求。  本文将视频通信应用与多媒体应用软件进行集成,实现了用户界面和应用功能的集成。针对多应用系统资源竞争问题,就设备资源和计算资源的管理进行分析。采用设备预留的方式解决设备资源冲突问题,采用资源预留和优先级设置相结合的方式解决计算资源紧张的问题,有效提供了对高清实时视频通信应用所需资源的保障。
其他文献
近来,基于内容的图像过滤技术(CBIF—Content-Based Image Filtering)已经引起了人们的广泛关注. 该文以此为背景,对以图像检测为主要依据的网络扫黄技术的关键部分进行了研
随着互联网的快速发展,Web网页数量也呈指数级增长,但由于计算资源、网络资源和存储资源的有限,传统搜索技术已经很难覆盖大众用户的不同需求了。因此,智能化、个性化、领域化的
如何为不同的网络应用业务提供不同的服务质量,QoS是下一代互联网络面临的重要研究课题。作者分析了在互联网上实现QoS的难点和QoSR相关问题,探讨了基于QoSR实现网络QoS传输理
为了满足对复杂多处理器系统研究的需要,针对多处理器以及片上网络互联系统模拟器的应用日益广泛。这对模拟器设计方法提出了更高的要求。模拟器相对硬件往往具有开发周期短
建立低成本的电子商务系统是中小企业的实际需求,为此我们提出一种基于框架的电子商务平台开发方案。 基于框架开发是软件开发的一种新方法,它的特点是将企业模型映射成为框
近年来,随着智能手机的不断普及以及移动网络应用的不断发展,移动网络应用为用户提供了丰富的功能,在人们的日常生活中发挥着重要的作用。但是其性能受制于手机有限的硬件资源和
弹性是云计算的主要特征之一,即在保障应用服务质量的前提下,如何灵活地根据需求增减对云计算系统中各类资源的使用,快速应对负载的变化,并尽可能节省服务器资源。  云平台(Paa
该文深入分析了坦克训练模拟器视景系统的需求,在此基础上进行了详细设计,并进行了算法研究及部分功能的实现.主要内容包括:1. 系统需求分析和详细设计.2. 简介开发平台WTK的
多时标非线性系统由于具有病态的动力学,其控制问题的研究较之一般的常规非线性系统更为复杂。但实际工业过程中涌现出的大量多时标系统又使得这类问题的研究非常有实际意义。
目前,构件测试已经成为人们普遍关注的研究热点,但是国内在此方面的研究几乎是一片空白,更毋庸谈及构件测试支持工具的开发.该课题旨在研究一种普遍适用的构件分析和测试方法