基于多模态关联分析的新闻视频标注与检索

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:triumphis
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着多媒体技术的进步和互联网技术的发展,视频数据的数量迅速增长,视频信号已经成为信息系统中一种重要的信息表示形式。新闻视频作为视频信息中有代表性的一种媒体,准确、及时地报道世界各地政治、经济、军事、娱乐等各个方面信息,逐渐成为人们获取新闻资讯的主要途径。视频新闻不同于普通视频之处在于,其中包括了具体的时间、地点、人物和事件等要素,这些内容提供了大量有价值的信息。观众关注他们感兴趣的新闻,并希望能够看到那些与他们兴趣有关的新闻的后续报道。当一件重大事件被报道的时候,比如“党的第十八次代表大会”、“最美丽的女教师张丽莉”,各种不同来源的相关新闻报道迅速出现。然而与此重大事件相关的信息往往孤立地分散在不同的电台播报中,并且出现在不同的时间。人们希望能够采用某种方法对一段时间内的各主要媒体所报道的新闻进行检测和追踪,自动把相关事件的信息汇总,供人查阅。目前新闻视频处理方法大多是基于人工的,主要由专人对每天从卫星上接收到的各电视台的新闻播报进行全天不间断地收看和记录,这是一种费时费力的繁重体力劳动。而且因为里面包含了人的因素,可能会产生漏报和不能实时处理的问题。为了充分利用接收的新闻视频资源,加快处理的速度,提取更多有价值的信息,并提高信息的时效性,需要采用机器设备对所收集的视频信息进行自动地、并具有一定智能水平的分析和处理,其中对新闻视频的标注和检索是两种最基本的任务。   新闻视频标注具有潜在的市场前景和广泛的用户需求。基于多模态关联分析的新闻视频标注关键技术研究及服务产品的研发具有重要的应用价值。该项技术的发展能有效带动智能搜索相关技术的研究与综合集成,在电子商务、教育、旅游、智能交通、军事、国家安全等重大应用领域具有重要的产业价值。本文对新闻视频标注技术进行了较深入的研究和探讨。论文的工作主要体现在以下几个方面:   1)针对新闻视频中文字识别和语音识别错误率还比较高的问题,本文提出了一种基于融合多模态信息的新闻视频自动标注方法。该方法综合利用了文字识别和语音识别结果之间在字面和语义上的对应关系,并以此提高新闻视频标注的准确率。另外,利用命名实体识别技术,该方法可以自动标注新闻视频的中新闻事件的人物、发生地点和主题词。实验结果表明,该方法的标注准确率比同类方法更高,并且不受词表限制。   2)考虑到新闻视频自身所包含的语义信息比较有限,本文所提出的方法借助于互联网上的海量媒体,利用包含语义信息的网络新闻来标注新闻视频。互联网数据量庞大,各种媒体形式的网页多达数十亿,其自身就是一个巨大的知识库。充分利用互联网这个媒体数据库,新闻视频的标注和索引能够得以实现。由于这种应用模式需要从新闻视频检索Web内容,然后又从Web中各种形式的内容提取摘要之后传导回新闻视频,从而具有跨媒体的技术特点。借助于这种跨媒体应用,人们的信息获取能力将得以增强,可以从Internet上的媒体中获取很多有价值的信息。探索新闻视频和Web内容的语义联系,将使得新闻视频的自动标注和索引成为可能,为海量新闻视频数据的有效管理打下基础,从而可以为用户提供更加方便和智能的新闻视频浏览服务。实验结果表明,该方法有效的解决了视频自身语义信息欠缺的问题。   3)考虑到某些新闻视频缺乏文字信息,本文提出了一种基于新闻视频检索的标注方法。该方法采集互联网上的已经标注好的视频,并将视频表达为关键帧图像集合;然后通过基于视觉特征的相似新闻检索,找出与待标注视频相似的若干已标注视频,通过挖掘已标注视频的文字信息来标注待标注视频。实验结果表明,该方法与同类方法相比取得了理想的标注效果。   4)基于上述基于多模态关联分析的新闻视频标注方法,设计了数字家庭系统中跨媒体新闻检索系统。该系统通过把各种形式的新闻统一表达为包含人物、地点、时间和主题词的标准格式,并对各新闻要素建立倒排索引,实现了跨媒体的新闻检索系统。
其他文献
《药物合成反应》是制药工程专业的专业课程之一,通过对课程线上教学的探索和改革,增强学生知识的综合运用能力,提升学生职业素养,以适应现代制药工艺发展的社会需求.
在社会化过程中,个体只有通过社会环境中的每个个体之间相互交流,相互沟通,才能促进个体自我发展,这说明人际交往在日常生活中是必不可少的.大学生的社会经验往往比较匮乏,认
技术动作训练对于提高排球教学的质量,激发运动员自主训练兴趣,提高运动员比赛成绩,养成运动员良好的排球运动理念意义重大.影响排球教学质量的因素众多,技术动作因素是影响
目的 评价血栓弹力图在老年脑梗死患者凝血状态监测中的临床意义.方法 选取300例老年脑梗死患者作为观察组, 300 例同期老年体检者作为对照组, 对所有患者进行常规凝血检测和
作为国家电力系统基础设施建设的重要组成部分,输电线路的安全运行不但可减少电力维修成本,降低电力事故发生率,且可为广大用电用户提供更为可靠、稳定的电力资源.但从输电线
“黄金中道”思想是亚里士多德在探索幸福和德性的过程中被提出的.中道思想不仅对于为人处世的原则起到了引导作用,而且在教化人的作用方面也发挥着积极的影响.所谓中道并不
第一,在坚定信念中做政治上的“明白人”。人如果没有信念,就没有明确的奋斗目标;没有明确的奋斗目标,就会在工作中迷失方向丧失激情。反之,有了信念,就有了目标和方向;有了
三维重建技术是虚拟现实、计算机几何模型处理、计算机动画、医学图像处理、科学可视化等领域的共性问题和核心技术。基于多视点的三维重建系统是一种利用对物体从多个角度拍
学位
随着信息技术与网络技术的高速发展,嵌入式系统正越来越广泛地应用于科学研究、军事技术、工程领域、消费类电子产品等方面。本文在深入研究嵌入式系统软硬件(包括ARM处理器
“以赛促学、以赛促进”教学模式,对ERP沙盘模拟实训课程有很强的促进作用.本文通过文献阅读与调查研究,对教学层面对高职经管类专业基于“以赛促学、以赛促教”视角,提升ERP