论文部分内容阅读
【摘 要】在开放的互联网环境下,互联网传输的视音频节目迅速发展,互联网视听节目监管系统能帮助我们实现对互联网上以P2P 、HTTP、WAP、MMS 、RTSP等这些方式来传播的视音频网站的节目监测,对于互联网所传播的视听节目,将他们进行相关的搜寻查找、逐一判别、整理归类、排重、以及节目版权的核查,对视听网站的节目进行数据排查分析,通过,对网站的排名统计,如网站总数、持证网站总数、审核违规网站数、节目总数、审核违规节目等,及时了解掌握相关信息。更高效全面的做到对视听网站的监管。
【关键词】互联网视听节目监管;文本检索;视频检索;音频检索
一、前言
随着互联网视听节目的日益发展,网络中播放、转播、链接的含有淫秽色情、赌博或暴力等内容,污染社会环境、毒害大众,特别是对青少年的影响极其恶劣,扰乱社会秩序,危害社会公德。因此针对目前互联网视听节目的这一现象,建成了互联网视听监管系统,实现了对互联网视听节目的监控功能,强化了对互联网的监督管理。
二、系统设计方案及工作原理
我们都知道,互联网监管系统的基本技术原理是使用网络爬虫技术,通过爬取网页信息,进行需求分析系统从设计角度,采用“云计算”的思想,将计算机和网络技术中的分布式计算、网格计算、效用计算、并行计算、网络存储、负载均衡、虚拟化等专业的技术,来综合考量,通过将其分布在我们的分布式计算机上,企业数据中心的运行模式将更相似于互联网。这就使系统能够将资源更加合理的转换到需要的应用上,提高了使用效率。
三、系统软件模块分析
(一)互联网音视频节目监测模块
在这个模块实现了对本地区管辖范围内的播客内容网站、互联网视听节目网站、P2P内容网站的及时搜寻与发现,监测互联网上HTTP、P2P等多种方式传播节目的视听网站,采集互联网上视听节目,对互联网上HTTP、P2P等方式传播节目的视听节目的搜索发现和下载,提取元信息,对于增量信息进行及时的采集和更新,对采集的数据进行排重,并记录相关的信息。通过视频采集和下载、利用镜头分割的方式抽取视频关键帧以及视频全景图。
对已经审批视听节目网站和未经审批视听节目网站自动进行监控,实时统计未经审批视听节目网站的名称内容、节目数量、IP地址、域名等相关的信息,获取节目列表、以及涉嫌违规的音视频节目,自动跟踪已经通过审批的视听网站的情况,增量的方式抓取视听节目网页,对通过关键词方式搜寻出的违规节目进行自动下载,对于涉及到违规信息的网页进行自动拍照取证,并记录取证时间等信息,及时记录下违规视听的具体情况。
(二)互联网音视频分析处理模块
通过综合判别、关键词过滤等技术,对节目进行自动搜索、解析以及判定,根据需求将他们归类,通过这个模块自动发现涉嫌违规的节目。根据文本检索、视频检索、音频检索、进行单条件或多条件检索的综合检索。1.文本检索模块:可以按视频的节目类别、节目名称、发布时间、文件格式等进行搜索,也就是说可以通过特定的关键词或特定的主题进行检索。2.视频检索子模块:对视频节目的内容进行检索,首先我们需要把查询到的视频节目进行离线处理,也就是将他们切分成不同的镜头,然后对镜头再进行内容的具体分析,建立对应的索引关系。对于操作员提交的查询片断进行镜头分割的操作,再对内容进行分析,最后再利用索引帮助我们找到对应的片断。3.音频检索子模块:利用我们熟知的网络爬虫技术,对音频文件、互联网语音建立内容索引,操作员可以进行内容音频检索。通过对指定内容的音频信息,或者说敏感词汇的检索,来实现音频检索的功能。对于特定内容的音频、信息语音也支持多种形式,可以是特定说话人、特定音频片段、或者是特定关键词。
(三)互联网监测分析模块
在这个模块下可以统计当前的系统发现的节目数、网站总数、违规节目数量、违规网站数量、以及相应的网站和节目列表信息,并且能导出EXCEL/WORD文件。可以根据需要导出日报、周报、年报以及自定义报表,通过这些报表我们可以对各视听节目网站的违规情况一目了然,便于数据的统计和整理。
(四)系统管理和任务配置模块
通过这个模块实现对整个系统业务参数和运行参数进行配置管理,分配用户的权限,下达搜索策略和搜索任务,监控系统网络、软硬件等运行情况,出现异常进行报警。通过“任务配置”功能还可以对子系统所需的参数进行配置,如对重点网站名单的删除、修改、批量导入等。
四、系统存在的缺点
系统在应用过程中还存在的一些问题,第一:系统还存在一定的误报率,虽然每天系统都会发现很多可疑的音视频信息,但是真正违规的节目是很少的,系统单凭个别文字或音视频片段还很难保证系统百分百的识别率。第二,视听节目内容搜索的范围不全面,很多网站搜索只能停留到网站的首页,无法进一步进行相关搜索,没有一个明显的特征链接,这就缩小了搜索的范围。另外还有一些收费网站、特殊网站等,常规搜索都无法进入。第三,随着数据库中的数据不断增多,系统处理效率会降低,如何保持系统高效的相应速度,也是亟待解决的问题。
五、结束语
近年来互联网视听节目也在如雨后春笋搬的大量涌现,速度之快,影响之大,其传播的方式也千变万化,都需要我们互联网传播视听节目的监控系统,不断升级产品性能,提高系统工作效率,做到与时俱进,来帮助我们完成对互联网视听节目的监管,保护我们的信息安全,共同维护我们健康和谐的互联网环境。
参考文献:
[1]叶昆《互联网视听节目监管系统简介》
[2]甄雪娇,刘忠文,刘博《互联网视听节目监管系统建设的思索》
[3]《互联网视听节目传播监管初探》
[4]钱卫 周涛 朱磊《互联网视听节目监管系统建设的思考》
作者简介:束雯 1985.12.13 籍贯:江苏 性别:女 研究方向:广播电视 目前职称:助理工程师
【关键词】互联网视听节目监管;文本检索;视频检索;音频检索
一、前言
随着互联网视听节目的日益发展,网络中播放、转播、链接的含有淫秽色情、赌博或暴力等内容,污染社会环境、毒害大众,特别是对青少年的影响极其恶劣,扰乱社会秩序,危害社会公德。因此针对目前互联网视听节目的这一现象,建成了互联网视听监管系统,实现了对互联网视听节目的监控功能,强化了对互联网的监督管理。
二、系统设计方案及工作原理
我们都知道,互联网监管系统的基本技术原理是使用网络爬虫技术,通过爬取网页信息,进行需求分析系统从设计角度,采用“云计算”的思想,将计算机和网络技术中的分布式计算、网格计算、效用计算、并行计算、网络存储、负载均衡、虚拟化等专业的技术,来综合考量,通过将其分布在我们的分布式计算机上,企业数据中心的运行模式将更相似于互联网。这就使系统能够将资源更加合理的转换到需要的应用上,提高了使用效率。
三、系统软件模块分析
(一)互联网音视频节目监测模块
在这个模块实现了对本地区管辖范围内的播客内容网站、互联网视听节目网站、P2P内容网站的及时搜寻与发现,监测互联网上HTTP、P2P等多种方式传播节目的视听网站,采集互联网上视听节目,对互联网上HTTP、P2P等方式传播节目的视听节目的搜索发现和下载,提取元信息,对于增量信息进行及时的采集和更新,对采集的数据进行排重,并记录相关的信息。通过视频采集和下载、利用镜头分割的方式抽取视频关键帧以及视频全景图。
对已经审批视听节目网站和未经审批视听节目网站自动进行监控,实时统计未经审批视听节目网站的名称内容、节目数量、IP地址、域名等相关的信息,获取节目列表、以及涉嫌违规的音视频节目,自动跟踪已经通过审批的视听网站的情况,增量的方式抓取视听节目网页,对通过关键词方式搜寻出的违规节目进行自动下载,对于涉及到违规信息的网页进行自动拍照取证,并记录取证时间等信息,及时记录下违规视听的具体情况。
(二)互联网音视频分析处理模块
通过综合判别、关键词过滤等技术,对节目进行自动搜索、解析以及判定,根据需求将他们归类,通过这个模块自动发现涉嫌违规的节目。根据文本检索、视频检索、音频检索、进行单条件或多条件检索的综合检索。1.文本检索模块:可以按视频的节目类别、节目名称、发布时间、文件格式等进行搜索,也就是说可以通过特定的关键词或特定的主题进行检索。2.视频检索子模块:对视频节目的内容进行检索,首先我们需要把查询到的视频节目进行离线处理,也就是将他们切分成不同的镜头,然后对镜头再进行内容的具体分析,建立对应的索引关系。对于操作员提交的查询片断进行镜头分割的操作,再对内容进行分析,最后再利用索引帮助我们找到对应的片断。3.音频检索子模块:利用我们熟知的网络爬虫技术,对音频文件、互联网语音建立内容索引,操作员可以进行内容音频检索。通过对指定内容的音频信息,或者说敏感词汇的检索,来实现音频检索的功能。对于特定内容的音频、信息语音也支持多种形式,可以是特定说话人、特定音频片段、或者是特定关键词。
(三)互联网监测分析模块
在这个模块下可以统计当前的系统发现的节目数、网站总数、违规节目数量、违规网站数量、以及相应的网站和节目列表信息,并且能导出EXCEL/WORD文件。可以根据需要导出日报、周报、年报以及自定义报表,通过这些报表我们可以对各视听节目网站的违规情况一目了然,便于数据的统计和整理。
(四)系统管理和任务配置模块
通过这个模块实现对整个系统业务参数和运行参数进行配置管理,分配用户的权限,下达搜索策略和搜索任务,监控系统网络、软硬件等运行情况,出现异常进行报警。通过“任务配置”功能还可以对子系统所需的参数进行配置,如对重点网站名单的删除、修改、批量导入等。
四、系统存在的缺点
系统在应用过程中还存在的一些问题,第一:系统还存在一定的误报率,虽然每天系统都会发现很多可疑的音视频信息,但是真正违规的节目是很少的,系统单凭个别文字或音视频片段还很难保证系统百分百的识别率。第二,视听节目内容搜索的范围不全面,很多网站搜索只能停留到网站的首页,无法进一步进行相关搜索,没有一个明显的特征链接,这就缩小了搜索的范围。另外还有一些收费网站、特殊网站等,常规搜索都无法进入。第三,随着数据库中的数据不断增多,系统处理效率会降低,如何保持系统高效的相应速度,也是亟待解决的问题。
五、结束语
近年来互联网视听节目也在如雨后春笋搬的大量涌现,速度之快,影响之大,其传播的方式也千变万化,都需要我们互联网传播视听节目的监控系统,不断升级产品性能,提高系统工作效率,做到与时俱进,来帮助我们完成对互联网视听节目的监管,保护我们的信息安全,共同维护我们健康和谐的互联网环境。
参考文献:
[1]叶昆《互联网视听节目监管系统简介》
[2]甄雪娇,刘忠文,刘博《互联网视听节目监管系统建设的思索》
[3]《互联网视听节目传播监管初探》
[4]钱卫 周涛 朱磊《互联网视听节目监管系统建设的思考》
作者简介:束雯 1985.12.13 籍贯:江苏 性别:女 研究方向:广播电视 目前职称:助理工程师