论文部分内容阅读
随着“三网融合”的推进,智能电视蓬勃发展,电视应用服务愈加丰富多样,给人们的生活带来了巨大的改变。随着“互联网+”概念的提出,应用软件、云计算、大数据技术的加快应用,电视智能化水平将得到快速提升。智能电视应用服务于人们的生活,以人为本的理念将成为智能电视未来发展重要方向。媒体娱乐、养老关怀、电子商务、文化教育、健康医疗、安防控制等接入家庭,使电视真正成为家庭互联网入口。 三网融合在推进的过程中,互联网业务提供商利用电信和广电运营商,直接在多种终端上向用户提供以互联网电视(Over The Top TV,OTT TV)为代表的海量、新颖、优质的视频业务,OTT TV突破了传统的业务与网络相捆绑的模式,激发了电视和互联网的潜能,极大地满足了用户的需求。用户在享受OTT服务的同时对消息实时性以及对视频节目质量选择等提出更高的要求,对互联网视频进行实时的采集与集成已成为研究重点。 本文重点研究互联网视频元数据爬取的关键技术,主要包括在线学习的视频内容的主题相关度预测,基于联合链接的隧道穿越以及WEB信息抽取的交叉定位等,主要贡献和创新点如下: 1、针对用户对OTT TV视频要求的新鲜度、时效性、相关性、完整性等需求,提出了一种在线学习、预测视频内容与主题相关度的方案,设计了一种基于密度分布的单类支持向量机的主题爬取的算法,使爬虫在爬取过程中可以在线学习,具有良好的自适应性。 2、针对预测页面中子链接的主题相似度时,网络社区之间存在灰色隧道的问题,提出了一种基于联合链接的隧道穿越的算法。该算法将视频与主题的相关度划分为主题完全相关、主题临界相关、主题完全无关三个区间,将主题临界相关的页面从视觉上进行页面切割,利用父链接与块链接以及锚链文本的相似度,并结合Q反馈学习获取的累积收益,对页面中链接的相似度进行相关度预测,指导爬虫爬取的方向,在不明显降低精确度的同时,提高爬取的查全率。 3、针对Web页面具有动态异构性的特点,包装器在抽取网站视频元数据信息的过程中抽取精度差、耗时长以及鲁棒性差等问题,提出一种基于交叉定位的视频元数据信息抽取的方法,该算法建立了基于内部特征的坐标系,采用了自底向上归纳的方法交叉定位视频元数据坐标值,提高抽取信息的准确率和鲁棒性,降低抽取的时长。