论文部分内容阅读
随着计算机网络通信技术,高速半导体技术,音视频压缩技术的迅猛发展,人们对视听产品的移动化,便携化的需求日益强烈,比如远程视频监控,可视电话,视频点播等业务,而这些业务的核心就是网络流媒体技术和嵌入式技术。嵌入式系统是当前研究的一个热点,它具有低功耗、集成度高和专用性强,智能,便携等特点。新型32位嵌入式处理器的出现使得进行音视频的实时软解压成为可能。通常,媒体数据的存储要求和嵌入式设备资源短缺形成一种矛盾。这也使得嵌入式流媒体具有广阔前景。又由于多媒体的直观,形象、生动等特点大量的应用于教育、娱乐、生活等领域。因此,基于嵌入式设备的在网络上以流媒体为载体的传输就是一个非常重要的方向。由于现实中存在很多中视频压缩标准,各种不同的网络传输协议族,加上不同的嵌入式处理平台,所以很难有一种方案能适应所有的具体应用,如智能小区监控系统就比移动视频电话在实时性,便携性,图像质量,网络传输质量等上有不同的要求。这就要求在网络协议族,媒体压缩格式,嵌入式平台上进行权衡,达到某种程度的最优化。本文主要考虑在IP层的广泛应用上,结合有线或无线的数据链路层特点,采用RTP/RTCP流媒体协议在UDP传输层进行传输,由于SoC(片上系统)的发展,在媒体解压方面本文突出媒体数据的软解压,也就是不需要辅助的解压硬件如DSP,FPGA,这样使得系统体积更加小巧并且实现更容易。硬件平台选取了ARM9核的三星S3C2440处理器,并移植了linux2.6内核的嵌入式操作系统,便于多任务多线程程序的编写。本文的实现主要是对mp3,H.264两种编码格式进行网络传输,在接收端进行解码播放。1,针对mp3格式的文件比特率,帧格式,IP网络的特点,本文实现了在公网上进行流媒体的有效传输,通过对mp3的帧进行重新解析,交错打包并传输,使得在丢包情况下提高主观听觉质量,嵌入式平台的核心mp3解码引擎采用开源libmad库定点解码后进行PCM声音输出。嵌入式终端利用多线程、队列互斥访问、缓冲区控制等技术实现流媒体的稳定播放。2,本文对H.264各种档次的解码复杂性进行分析后,主要针对H.264的基线档次(Baseline Profile)的文件进行解析打包并在局域网上传输。利用H.264提供的分层结构,对NAL层数据进行单一时间打包(STAP)。并采用参数集的带内传输进行。嵌入式终端对包进行解码后输出到FrameBuffer中。在FrameBuffer中采用双缓冲技术,为更高帧率的文件提供流畅播放。