论文部分内容阅读
随着互联网带宽的增长和新型互联网服务的发展,爆炸式增长的在线多媒体数据和蓬勃发展的社交网络给互联网广告的发展带来了全新的挑战。传统的基于文本数据挖掘的广告上下文相关性方法已在以多媒体数据为载体的互联网广告上显露出诸多不足之处。有效存储和管理在线海量多媒体数据,并充分利用其中包含的多媒体信息挖掘多媒体数据与广告的相关性,成为多媒体广告计算的关键问题。另一方面,社交网络的兴起使人们的日常网络行为从以内容为主的网络浏览逐步过渡到基于庞大社交网络的用户互动和内容分享的社交浏览上。利用庞大的社交网络用户结构和活跃的用户互动,感知社交网络中的广告趋势,扩大广告的传播范围和关注度,已成为多媒体广告计算中的重要研究方向。本文集中讨论了多媒体广告计算这一课题产生的背景和研究意义,以及涉及的关键问题和技术难点,并指出已有的研究工作中存在的不足之处。本文从多媒体广告计算领域的基础性问题出发,从不同层次研究了多媒体广告计算发展中遇到的关键问题——数据存储、内容分析和广告优化,分别提出了视频的近无损摘要方法、改进的近无损视频音频摘要下的视频内容分析和社交网络背景下的图像广告关联方法。主要工作和创新之处归纳为以下几点:1.传统在线海量视频数据一般以视频压缩或视频摘要形式进行存储、索引和展示。不断增长的在线视频和有限的带宽给当前的视频管理系统带来了一系列挑战,如有限的服务器存储空间、可观的流媒体的传输时延以及随传输码率降低而不断下降的视频传输质量。本文提出一种能有效降低视频存储、并最大程度地保持视频信息的近无损视频摘要方法,通过对视频的结构化分析,提取包含视觉、听觉和用于记录视频时间和运动信息的元数据三个部分的近无损视频摘要,并能将其重建为与原视频等长的重建视频用于展示。实验表明,近无损视频摘要能够达到传统视频压缩方法无法达到的极高存储效率。同时,通过近无损视频摘要与流行的视频压缩方法和传统视频摘要方法的主客观评价,验证了近无损摘要在信息保持和用户体验方面的优越性。2.针对海量数据的近无损视频摘要方法在实现了主流视频压缩方法无法达到的存储效率的同时,还保证了主流视频压缩方法在同等极低比特率条件下无法达到的视觉和语义保真度,但也存在不足之处。比如,在存储开销方面,视觉摘要中占很大比例的全景图没有得到充分压缩,并且仅对听觉信号进行了低码率压缩,其中还有可观的时间冗余能够进一步消除。另外,在近无损摘要的视觉和语义保持方面,缺乏将近无损摘要运用到在线海量视频管理系统中进行视频分析的实践。本文提出一种改进的近无损视频音频摘要方法,并运用到大规模数据集上的视频分析任务中,以研究其视频分析性能。实验表明,改进的近无损视频音频摘要比近无损视频摘要显著降低了存储开销,还保证了主流视频压缩方法在同等低比特率条件下无法达到的视觉和语义保真度。本文还将近无损视频音频摘要运用于一系列视频分析任务,着重考察其在视频分析中的两个重要任务——视频拷贝检测和视频概念检测中的性能。实验表明,改进的近无损视频音频摘要在视频分析任务中达到了与原始视频能够比拟的性能,这也初步验证了近无损摘要运用于海量视频数据管理系统的能力。3.当前基于内容的上下文相关图像广告系统致力于挖掘用户浏览网页中的图像及其上下文信息与广告的相关性。以社交网络为代表的新型互联网服务带来了通过社交关系相连的庞大用户网络和基于此网络的内容组织形式,用户在整个社交网络中的影响力决定了与其相关内容的传播速度和传播范围。与基于内容的上下文相关广告关联方法只考虑内容相关性不同,本文提出一种基于社交网络,整合用户影响力、上下文内容相关性、局部内容相关性的上下文相关图像广告系统,同时优化广告的传播效果和上下文内容相关性以实现广告、图像页面、图像嵌入点的关联。本文将以上广告关联问题建模为一个非线性0-1整数规划问题,通过启发式搜索方法降低了最优化搜索的计算量。实验证实,以最流行的图像分享社交网站Flickr为广告平台,通过最优化用户影响力、上下文内容相关性和局部内容相关性,系统取得了较好的广告相关性和可喜的用户评价。