基于本体的视频服务网站监管技术研究

被引量 : 0次 | 上传用户:dxw2814
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络带宽的提高、网络用户的增加,以及数码产品的普及,网上视频内容日益丰富,收看网络视频的用户急剧增多,视频服务网站也不断涌现。然而由于开放性、匿名性以及资源缺乏统一管理的特点,互联网在带给人们便利的同时,许多不良视频服务网站也混入其中。这些不良视频服务网站对青少年的健康成长和社会的稳定有着非常不利的影响。尽管国家已加大了打击力度,然而事实上不良视频服务网站仍然存在,且通过搜索引擎的帮助获取的难度很低。因此如何自动发现和准确识别不良视频服务网站从而对其进行有效监管成为了值得研究的问题。目前视频服务网站监管主要存在的难点和问题包括:(1)视频服务网站的自动发现,目前仅中国的网站数量就已经达到230万之多,如何从互联网的海洋中自动发现视频服务网站成为了视频服务网站监管的重要问题;(2)支持网站健康性评估的领域本体自动构建技术,不良视频领域本体可以提供计算机可理解的不良视频的语义描述,从而为后续的不良视频网页识别以及网站的健康性评估提供语义基础,传统的领域本体自动构建方法多依赖于自然语言处理技术,受限于自然语言处理工具的性能,构建出的领域本体的质量往往不高;(3)基于领域本体的网站健康性分析评估技术,在拥有了不良视频领域本体之后,如何设计出一种可以利用本体中的文字和结构信息的网页相关度计算方法从而准确地计算出网站的健康性,就成为了值得研究的问题。针对这三个问题,本论文的主要研究工作和创新点如下:1.提出了视频服务网站的自动发现方法。针对视频服务网站自动发现的问题,本文首先提出了一种基于元搜索的视频服务网站的自动发现方法,该方法设计了一种关键词更新和评价机制用以向元搜索系统提供高质量的搜索关键词,元搜索的结果将作为初始网站列表提供给主题爬行模块以进一步发现更多的视频服务网站。通过分析网页的标签特征和候选播放器的视觉特征,本文提出了一种基于多特征多策略的视频播放页识别方法。在确定一个视频播放页后,将该页面存为播放页模板,后续视频播放页的识别利用其与播放页模板的相似性来判定。在对搜索过程所遇到的网页及链接主题相关度的分析基础上,本文提出了一种URL的预期剩余能量模型用以计算每个方向的搜索能量,进而决定主题爬虫的搜索方向和步长。实验中,基于多特征多策略的视频播放页识别准确率和召回率分别达到了99.21%和99.24%,而基于预期剩余能量模型的主题爬行算法则明显优于对比算法的性能。2.提出了基于超链接结构图聚类的领域本体自动构建方法。针对领域本体自动构建的问题,着重研究了领域概念的自动识别和领域概念间同义/近义关系的自动构建方法。首先,本文提出了基于超链接结构图聚类的领域概念识别方法,该方法首先利用网络爬虫从指定的入口地址处深度受限广度优先遍历Wiki页面,构建关于某特定领域的无向超链接结构图。然后利用得到的网页数据库和词汇表构建词汇-文档矩阵,使用潜在语义索引算法和余弦相似度计算节点间的相似度,将该相似度作为相应边的权重,再利用有权图渗滤算法对有权无向链接结构图进行聚类,并对聚类结果进行评估,进而得到相应的领域概念。针对概念间同义/近义关系的自动构建,本文首先构建链接-词语的共现矩阵,使用余弦相似度度量,再使用自底向上的凝聚型层次聚类算法对词语进行聚类,从而得到词语间的同义/近义关系。实验结果显示,领域概念识别的准确率在top-10阶段接近96%,而同义/近义联系的识别准确率则接近90%。3.提出了基于领域本体的网站健康性评估方法。针对网站健康性的计算问题,本文提出了一种基于领域本体的网站健康性计算方法。传统的网页分类和相关性计算方法使用的文档表示模型通常假设特征项之间是相互独立的,并且特征词的权值大都基于词频信息,忽略了词的位置及上下文信息,而已有的本体分类系统只是将本体用于辅助分类的过程,无法有效利用到本体自身的结构和文字信息。针对这些问题,本文提出了一种基于网页概念树和领域本体树匹配的网页健康性计算方法。该方法首先提出了一种可以不依赖于独立性假设的新的网页文档表示模型,并在该模型的基础上使用了一种可以利用到词语的位置及上下文信息的词语加权算法,最后在新的网页表示模型的基础上,提出了一种可以有效利用领域本体的结构及文字信息的网页健康性计算方法。实验结果显示,该方法的不良网页识别准确率、召回率和F1值分别为96%、95.7%和95.8%,视频服务网站健康性评估的准确率则达到了95%。上述方法已部分应用于国家863项目“结合语义的视频网站自动发现与分析评估服务”课题中的主题聚集搜索和网站内容分析评估部分,并将应用于国家科技支撑计划“增强型搜索系统架构、关键技术及测试规范的研究”以及公安部重点研究计划项目“多媒体服务网站监管技术研究”之中。
其他文献
<正>尽管人教版的语文教材历经多次修订,选文今非昔比,可是《闻一多先生的说和做》以其文辞郁郁、思想灼灼的绝对优势,始终岿然不动。2009年,国人永恒的记忆再次被《建国大业
<正>曹勇军老师是一个非常善于设计教学问题的老师。研究他的问题设计对指导一线教师的课堂教学具有现实意义。下面,我们就以曹勇军老师的一堂公开课《我的一位国文老师》为
近日,全球领先的信息与通信解决方案供应商华为宣布,手机行业资深职业经理人赵科林(Colin Giles)正式加盟华为消费者业务,从2013年7月1日起正式担任华为消费者业务执行副总裁,负责
《天黑前的夏天》讲述的是一个中年家庭主妇凯特,在某一个夏天被迫走出家门,寻找自我的故事。房子是这篇小说中的一个重要的空间元素。房子这个空间意象早已不局限为一个供人
<正>从专业发展的角度看,吴欣歆老师的成长经历稍显特殊,她总是在上学和教书之间游走:大学毕业先教书,工作三年攻读教育硕士,硕士毕业再教书,六年后开始攻读教育学博士,博士
<正>该课获2008年黑龙江省初中课堂教学培训班课堂教学展示课一等奖师:诗歌是文学世界的瑰宝,是皇冠上的明珠,是最古老的文学体裁。那来自诗人灵魂最深处的吟唱,涵养着每个民
目的:对比研究蒙古族、维吾尔族和汉族低龄儿童龋病患病情况及相关危险因素,通过高通量测序对三个民族儿童牙菌斑菌群结构差异进行分析,检测唾液中四种常见致龋菌DNA水平并评
<正>该课获2010年江苏省中学语文教学优秀课评比(初中组)一等奖师:清风流水、啼鸟鸣蝉、落花细雨、暮鼓晨钟,世间万物都有自己的歌声,我们现在听到的是海浪的歌声。听,浪花里
砖瓦真空挤出机是砖瓦等建筑墙体材料坯体产品在挤出成型阶段的主要设备,而螺旋绞刀又是砖瓦真空挤出机的关键部件,可以说螺旋绞刀的优劣直接决定了砖瓦坯体的质量。而挤出机