论文部分内容阅读
随着多媒体技术的进步和互联网技术的发展,视频数据的数量迅速增长,视频信号已经成为信息系统中一种重要的信息表示形式。新闻视频作为视频信息中有代表性的一种媒体,准确、及时地报道世界各地政治、经济、军事、娱乐等各个方面信息,逐渐成为人们获取新闻资讯的主要途径。视频新闻不同于普通视频之处在于,其中包括了具体的时间、地点、人物和事件等要素,这些内容提供了大量有价值的信息。观众关注他们感兴趣的新闻,并希望能够看到那些与他们兴趣有关的新闻的后续报道。当一件重大事件被报道的时候,比如“党的第十八次代表大会”、“最美丽的女教师张丽莉”,各种不同来源的相关新闻报道迅速出现。然而与此重大事件相关的信息往往孤立地分散在不同的电台播报中,并且出现在不同的时间。人们希望能够采用某种方法对一段时间内的各主要媒体所报道的新闻进行检测和追踪,自动把相关事件的信息汇总,供人查阅。目前新闻视频处理方法大多是基于人工的,主要由专人对每天从卫星上接收到的各电视台的新闻播报进行全天不间断地收看和记录,这是一种费时费力的繁重体力劳动。而且因为里面包含了人的因素,可能会产生漏报和不能实时处理的问题。为了充分利用接收的新闻视频资源,加快处理的速度,提取更多有价值的信息,并提高信息的时效性,需要采用机器设备对所收集的视频信息进行自动地、并具有一定智能水平的分析和处理,其中对新闻视频的标注和检索是两种最基本的任务。
新闻视频标注具有潜在的市场前景和广泛的用户需求。基于多模态关联分析的新闻视频标注关键技术研究及服务产品的研发具有重要的应用价值。该项技术的发展能有效带动智能搜索相关技术的研究与综合集成,在电子商务、教育、旅游、智能交通、军事、国家安全等重大应用领域具有重要的产业价值。本文对新闻视频标注技术进行了较深入的研究和探讨。论文的工作主要体现在以下几个方面:
1)针对新闻视频中文字识别和语音识别错误率还比较高的问题,本文提出了一种基于融合多模态信息的新闻视频自动标注方法。该方法综合利用了文字识别和语音识别结果之间在字面和语义上的对应关系,并以此提高新闻视频标注的准确率。另外,利用命名实体识别技术,该方法可以自动标注新闻视频的中新闻事件的人物、发生地点和主题词。实验结果表明,该方法的标注准确率比同类方法更高,并且不受词表限制。
2)考虑到新闻视频自身所包含的语义信息比较有限,本文所提出的方法借助于互联网上的海量媒体,利用包含语义信息的网络新闻来标注新闻视频。互联网数据量庞大,各种媒体形式的网页多达数十亿,其自身就是一个巨大的知识库。充分利用互联网这个媒体数据库,新闻视频的标注和索引能够得以实现。由于这种应用模式需要从新闻视频检索Web内容,然后又从Web中各种形式的内容提取摘要之后传导回新闻视频,从而具有跨媒体的技术特点。借助于这种跨媒体应用,人们的信息获取能力将得以增强,可以从Internet上的媒体中获取很多有价值的信息。探索新闻视频和Web内容的语义联系,将使得新闻视频的自动标注和索引成为可能,为海量新闻视频数据的有效管理打下基础,从而可以为用户提供更加方便和智能的新闻视频浏览服务。实验结果表明,该方法有效的解决了视频自身语义信息欠缺的问题。
3)考虑到某些新闻视频缺乏文字信息,本文提出了一种基于新闻视频检索的标注方法。该方法采集互联网上的已经标注好的视频,并将视频表达为关键帧图像集合;然后通过基于视觉特征的相似新闻检索,找出与待标注视频相似的若干已标注视频,通过挖掘已标注视频的文字信息来标注待标注视频。实验结果表明,该方法与同类方法相比取得了理想的标注效果。
4)基于上述基于多模态关联分析的新闻视频标注方法,设计了数字家庭系统中跨媒体新闻检索系统。该系统通过把各种形式的新闻统一表达为包含人物、地点、时间和主题词的标准格式,并对各新闻要素建立倒排索引,实现了跨媒体的新闻检索系统。