GStreamer音视频传输系统及移动机器人场景应用

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:chinaoristand
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智能设备的不断普及和无线网络的广泛覆盖,视频服务应用场景越来越多,音视频传输以其直观方便的呈现方式和丰富精彩的信息内容而广泛应用于众多领域,典型的音视频传输应用包括智能家居、视频监控、远程教育以及远程医疗等。伴随着需求的不断扩大,特别是随着移动通信技术的快速发展,对于能够在移动通信环境中高效、灵活部署的实时视频传输系统的研究显得更为迫切。目前对于GStreamer框架下音视频同步传输的研究还很少见,本文提出基于GStreamer框架的音视频无线传输系统,设计实现单向音视频同步传输和双向语音互动功能,并对该系统在移动机器人场景的应用进行初步研究。系统以树莓派3B为硬件平台,使用V4L2驱动框架采集视频数据,采用H.264视频编码;通过Pulse Audio声音服务器捕获音频数据,使用Opus音频编码。音视频数据按照RTP协议封装,通过UDP协议完成数据传输。测试结果表明:系统WIFI网络音视频同步传输延时可达261 ms,4G网络音视频同步传输延时可达330 ms,仅视频传输延时分别可达136 ms、206 ms,具有高实时性;传输质量测试采用空间域无参考图像质量评估器和MOS评分标准,图像质量评价优于对比方案45%以上。且系统针对不同应用需求及网络环境,实现多分辨率可选的实时视频采集和WIFI与4G网络自动切换传输,提高系统使用灵活性和经济性,满足众多场景应用需要,对音视频传输应用有较好参考价值。首先,进行关键技术的分析与研究。重点介绍了GStreamer开源多媒体框架,分析研究其在音视频传输方面的优势。并且对音视频传输的关键技术进行分析研究,包括视频压缩编码技术,音频压缩编码技术,RTP实时传输协议,TCP与UDP传输协议。其次,进行系统设计及应用研究。系统设计分为采集端设计和客户端设计,设计目标为实现单向视频传输和双向语音互动。系统采集端基于树莓派平台,软件设计包括两个管道,音视频传输管道和音频接收管道,并针对采集端设计了4G网络与WIFI网络的自动切换功能。系统客户端软件设计包括音视频接收管道和音频传输管道。并针对系统在移动机器人场景的应用进行了研究与实现。最后,进行系统测试与分析。针对系统的传输实时性和传输画质进行对比测试,分析系统优势与不足,并对系统在移动机器人上的应用进行实验验证。
其他文献
在高速发展的科技信息时代,稳定和可集成光子器件已成为人们追求的目标。有机光致变色材料能够实现信息传输、显示和存储,这为它们在集成光子学中的应用提供了可能性。螺噁嗪
随着工业自动化程度的提高,三维重建技术已广泛应用于机械零件的三维测量、产品的缺陷检测以及机械装配的误差检测中。三维模型的准确重建是得到良好检测效果的先决条件,本文在分析了现有三维重建系统优缺点的基础上,综合考虑系统搭建成本和三维重建难易程度,最终采用工业机器人搭载单目相机的方案,构建了一个结构简单、操作方便、重建物体还原程度高的三维重建系统。本文主要工作内容有:(1)为保证单目相机能够平稳地拍摄多
数据的稳定存储是光学信息处理过程的前提。近年来,负载小尺寸银纳米粒子的二氧化钛纳米复合薄膜作为一类重要的光致变色材料,因其在数据存储、局域表面等离子体传感器、偏振
2015年7月,北京-张家口成功赢得第24届冬季奥林匹克运动会的联合举办权。与此同时,多项政策相继出台,多方资本竞相涌入,多种新技术持续应用,我国冰雪产业迎来黄金发展期。面对日益增长的冰雪消费需求,我国冰雪产业却存在场地设施不足,群众性冰雪赛事活动较少,冰雪运动普及度不高,冰雪文化有待挖掘等发展不平衡不充分的问题。因此本文以解决制约产业成长的问题为切入点,研究我国冰雪产业成长动力机制,丰富了冰雪产
基于王中林教授于2007和2010年提出压电电子学和压电光电子学两个原创的概念。利用应变引起的界面极化电荷调制界面处能带结构并进而有效地调节和控制界面或结区的载流子输运
随着半导体工业突破22 nm向更小的方向推进,传统的硅材料浮栅结构存储器接近理论极限。作为新型非易失存储器之一的阻变存储器(RRAM)具有非易失性和可高速擦写性的特点,集内
随着智能手机、平板电脑等移动设备的普及,人类在任何地点任何时间对无线通信的需求越来越频繁。在未来的无线通信系统的无线宽带接入用户中将会有很大比例的车内用户(VUE,Ve
近年来我国专利保护暴露出一些问题,如专利易被侵权、损害赔偿较低、当事人举证困难等,这不仅会冲击我国的法律制度,使得专利法某些条款形同虚设,还会荼毒创造力,影响经济的发展。通过研究不同法系国家专利侵权惩罚性赔偿制度,分析其适用的背景、条件和计算方法,为我国引用专利侵权惩罚性制度提供一定的制度借鉴;再结合我国的司法判例,一方面从宏观上选取一定数量的案例进行分析,另一方面从微观上仔细研读司法判决中法官的
对于性能要求不高但对功耗和能量很敏感的电路,可采用降低电压的方法使其工作在最低能量点处,提高电路的能效。但在低电压下,电路的可靠性会由于工艺参数的变化、温度变化等