论文部分内容阅读
近年来，音视频应用不仅越来越广泛，技术也得以飞速发展。作为基础及应用研究的重要阵地，不少高校都成立了实验室对此进行深入研究，有效地促进了音视频创新应用及发展，西安电子科技大学嵌入式系统与大数据研究中心就是其中一个。此实验室在2008年成立，主要研究目标是音视频的嵌入式系统的处理，重点研究方向是：计算机视觉、模式识别和人工智能（视频智能处理算法）、嵌入式系统及和多核嵌入式系统。
重点研究方向与现状
在计算机视觉方面，实验室目前主要在做基于手提摄像机（单目）和多目相机的标定、三维重建和基于非线性RTCam相机模型的统一相机几何模型研究。因为在实际视频应用中会出现各种各样的非线性失真，不同的几何模型在成像中有不同的原理，在航空、深海探测等专业领域这些模型都会用到，所以在视觉方面我们有必要做这个研究。这在投影应用当中也有用武之地，大屏幕投影是具有非线性失真的，如屏幕放不直会出现梯形投影，这个模型有望解决这一问题。
模式识别和人工智能（视频智能处理算法）应用范围很广，其发展对国民经济建设和国防现代化建设有着广泛和深远的意义。这也是当前重点研究内容，为了适应不同场合识别处理算法也不尽相同。实验室目前进行研究和优化的算法有：人脸检测算法、火灾检测算法、车牌识别算法、入侵检测算法、流量统计算法、动态跟踪算法、人形检测算法、去雾算法等，几乎涵盖了所有应用。
基于非线性RTCam相机模型的统一相机几何模型研究
关于嵌入式系统，既有基于TI-DAVINCI（DM6467、DM6437、DM365、DM368、DM647、DM648）、OMAP处理器、TI多核处理器系列的嵌入式软硬件系统；还有基于ADI Blackfin（BF561、BF533、BF548）系列的嵌入式软硬件系统和基于Freescale PowerPC系列的嵌入式软硬件系统的研究。
其中TI-DAVINCI是一种崭新的软件架构，我们的很多研究都在上面开发，摄像机上用得也很多，但是能在摄像机里面真正把这种嵌入式系统应用好的并不多见，如何在低功耗高性能方面增强嵌入式系统的能力是目前着力要做的功课。
对于嵌入式系统而言，多核技术较过去可以提供更高的处理器性能、更有效的电源利用率，并且占用更小的物理空间，具有许多单核处理器无法具备的优势。在高端通信和影像等计算密集型应用领域，多核嵌入式系统已经成为发展的必然趋势。正是前瞻性地看到这种发展方向，实验室进行了基于XILINX Microblaze、Tilera 64核处理器、TI多核DSP等各种多核嵌入式系统设计。
今后网络服务器、媒体网关服务器、云计算中心、物联网数据安全设计都会涉及多核技术，它成为一个必须研究的技术课题。
产品成果及方案
下面就实验室研发出的产品及方案向来宾进行介绍。
高清智能IP相机是研究成果的具体应用产品，融合了高清照相、智能处理和高速传输功能。它由CCD+FPGA组成前端AFE采集系统，当然也可更换CCD，目前可支持200万、400万像素采集；DM368/DM365组成ENC编码系统，负责进行H.264、MPEG4、MJPEG编码、支持多流同时编码；DM6437组成VCA智能视频处理算法系统，负责进行各种智能处理算法识别，模块功能可动态配置，并且模块数量可以根据需要进行插拔实现。设备接口方面，具有视频数据接口、以太网接口、USB接口支持（支持3G-WCDMA，可以进行短信传递及视频发送组成）、各种外部触发接口及通信接口，并支持SD卡（最大16G）。同时此设备还内嵌WEB服务器，并添加了人脸检测及数量统计、火灾检测、车牌识别、去雾算法等。适用于智能交通、航空航海、火灾检测、公共安全等众多领域。
传统的相机都是由成像部分、图像传输部分组成的，现在99%的相机都没有智能处理部分。我们所做的相机不光要有传输，而且要有智能处理，例如火灾检测可以检测出火焰，在校园里面可检测出自行车或行人。还有去雾的方法，考虑到速度问题，进行了基于DSP的优化和相关改进，这对于改善浓雾天气的交通环境非常有用。
如果把这个IP相机和RFID（无线射频识别技术）结合起来，还可以实现视频定位跟踪，当你走到敏感区域的时候，它会自动切换到这个位置。目前我们还做了安全预案及高清智能相机的物联网结合方案，可以有效实现煤矿、烟花、危化行业的安全生产监控，安全事件的提前预警、危险事件的自动报警（火灾、烟雾、入侵）及安全预案的自动执行。
当音视频数据上了物联网之后，目前面临的最大的问题就是延迟，特别是在云平台进行数据分布式存储以后，每当检索的时候就要预备数据，预备数据时延迟很长，现在传统的音视频解决方案都不能很好地解决这个问题。因此数据存储机制和检索机制，是我们下一步要攻克的方向。
重点研究方向与现状
在计算机视觉方面，实验室目前主要在做基于手提摄像机（单目）和多目相机的标定、三维重建和基于非线性RTCam相机模型的统一相机几何模型研究。因为在实际视频应用中会出现各种各样的非线性失真，不同的几何模型在成像中有不同的原理，在航空、深海探测等专业领域这些模型都会用到，所以在视觉方面我们有必要做这个研究。这在投影应用当中也有用武之地，大屏幕投影是具有非线性失真的，如屏幕放不直会出现梯形投影，这个模型有望解决这一问题。
模式识别和人工智能（视频智能处理算法）应用范围很广，其发展对国民经济建设和国防现代化建设有着广泛和深远的意义。这也是当前重点研究内容，为了适应不同场合识别处理算法也不尽相同。实验室目前进行研究和优化的算法有：人脸检测算法、火灾检测算法、车牌识别算法、入侵检测算法、流量统计算法、动态跟踪算法、人形检测算法、去雾算法等，几乎涵盖了所有应用。
基于非线性RTCam相机模型的统一相机几何模型研究
关于嵌入式系统，既有基于TI-DAVINCI（DM6467、DM6437、DM365、DM368、DM647、DM648）、OMAP处理器、TI多核处理器系列的嵌入式软硬件系统；还有基于ADI Blackfin（BF561、BF533、BF548）系列的嵌入式软硬件系统和基于Freescale PowerPC系列的嵌入式软硬件系统的研究。
其中TI-DAVINCI是一种崭新的软件架构，我们的很多研究都在上面开发，摄像机上用得也很多，但是能在摄像机里面真正把这种嵌入式系统应用好的并不多见，如何在低功耗高性能方面增强嵌入式系统的能力是目前着力要做的功课。
对于嵌入式系统而言，多核技术较过去可以提供更高的处理器性能、更有效的电源利用率，并且占用更小的物理空间，具有许多单核处理器无法具备的优势。在高端通信和影像等计算密集型应用领域，多核嵌入式系统已经成为发展的必然趋势。正是前瞻性地看到这种发展方向，实验室进行了基于XILINX Microblaze、Tilera 64核处理器、TI多核DSP等各种多核嵌入式系统设计。
今后网络服务器、媒体网关服务器、云计算中心、物联网数据安全设计都会涉及多核技术，它成为一个必须研究的技术课题。
产品成果及方案
下面就实验室研发出的产品及方案向来宾进行介绍。
高清智能IP相机是研究成果的具体应用产品，融合了高清照相、智能处理和高速传输功能。它由CCD+FPGA组成前端AFE采集系统，当然也可更换CCD，目前可支持200万、400万像素采集；DM368/DM365组成ENC编码系统，负责进行H.264、MPEG4、MJPEG编码、支持多流同时编码；DM6437组成VCA智能视频处理算法系统，负责进行各种智能处理算法识别，模块功能可动态配置，并且模块数量可以根据需要进行插拔实现。设备接口方面，具有视频数据接口、以太网接口、USB接口支持（支持3G-WCDMA，可以进行短信传递及视频发送组成）、各种外部触发接口及通信接口，并支持SD卡（最大16G）。同时此设备还内嵌WEB服务器，并添加了人脸检测及数量统计、火灾检测、车牌识别、去雾算法等。适用于智能交通、航空航海、火灾检测、公共安全等众多领域。
传统的相机都是由成像部分、图像传输部分组成的，现在99%的相机都没有智能处理部分。我们所做的相机不光要有传输，而且要有智能处理，例如火灾检测可以检测出火焰，在校园里面可检测出自行车或行人。还有去雾的方法，考虑到速度问题，进行了基于DSP的优化和相关改进，这对于改善浓雾天气的交通环境非常有用。
如果把这个IP相机和RFID（无线射频识别技术）结合起来，还可以实现视频定位跟踪，当你走到敏感区域的时候，它会自动切换到这个位置。目前我们还做了安全预案及高清智能相机的物联网结合方案，可以有效实现煤矿、烟花、危化行业的安全生产监控，安全事件的提前预警、危险事件的自动报警（火灾、烟雾、入侵）及安全预案的自动执行。
当音视频数据上了物联网之后，目前面临的最大的问题就是延迟，特别是在云平台进行数据分布式存储以后，每当检索的时候就要预备数据，预备数据时延迟很长，现在传统的音视频解决方案都不能很好地解决这个问题。因此数据存储机制和检索机制，是我们下一步要攻克的方向。