Web数据集成中有价值事件识别研究

被引量 : 0次 | 上传用户:tonghai0919
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的飞速发展,Web成为巨大的信息源,拥有海量数据,同时Web具有开放性、交互性、便捷性的特点,已成为人们获取信息的重要平台。如何准确、有效地从Web中获取所需信息,对信息进一步分析和挖掘,对诸如市场情报分析、商业智能等分析型应用尤为重要。相对于传统数据集成中结构化数据,Web网页包含大量无结构数据,其中在特定时间、地点发生,由特定参与者参加的活动语句称为事件。识别网页中有价值事件,即识别出分散在大量网页中的事件信息并关联事件的价值数据,为市场情报分析等应用提供数据支持。Web网页的新闻报道中蕴含大量事件,为用户提供及时、广泛的信息,但报道这些事件的描述语句陈述角度各异,表达方式随意,难以识别是否指向同一事件。网页报道中对同一事件的不同描述语句称为事件表象。在Web大量网页中,通过聚合事件表象发现其共同所指的事件,利用共指同一事件的表象间互相印证和补充的信息对事件有一个较全面、准确的认识。另外,分析事件主题,集成事件主题热度信息,从不同层面识别有价值事件。识别出的有价值事件,数据较丰富和准确,而且集成了事件主题等不同层面的价值信息,可以为市场情报分析等应用提供支持,也是进一步进行数据分析和挖掘的基础。Web有价值事件识别已经成为当前的热点研究问题之一,由于Web事件具有海量、无结构、描述随意和联系丰富等特点,有价值事件识别不仅进行Web事件发现,还要集成事件价值信息,研究中仍然存在以下问题有待解决。(1)同一事件网络中有不同的新闻报道,报道该事件的事件表象语句因描述角度不同,存在较大差异。这些事件表象分布于大量网页中,如何从网页中快速、准确的发现重复事件表象,聚合指向同一事件的表象,是需要研究的问题;(2)事件表象从不同角度描述事件,如何充分利用表象间相互印证和补充信息,将形式各异的共指事件表象统一成一条表象,保证合并后的事件表象具有较准确和丰富的数据,是需要解决的问题;(3)Web不同事件可以拥有共同主题,如何准确发现不同事件的主题,分析主题词热度,从主题层面识别有价值事件,是需要解决的问题。本文以Web数据集成为目标,针对Web有价值事件识别中存在的以上问题展开研究,本文的贡献主要包括以下三个方面:(1)提出一种基于维度匹配和共现约束的重复事件表象发现方法。使用事件的8维度表示形式,提出使用网页事件表象共现约束减少事件表象的匹配次数,能够准确、高效的发现网页中重复事件表象。本文提出一种基于维度匹配和共现约束的重复事件表象发现方法,事件使用{agent, activity, object, time, location, cause, purpose, manner}8个维度表示,赋予事件一定的结构特性。针对不同维度内容使用不同匹配器分别匹配,使用扩展证据理论模型综合维度匹配结果。针对大规模网页重复事件表象的发现,提出网页事件表象共现约束,减少网页间事件表象匹配次数。实验结果表明,该方法能够准确聚合大量共指同一事件的重复事件表象,并且减少事件表象间匹配次数,有效降低了网页重复事件表象发现的时间,提高了重复事件表象发现的效率。(2)针对指向同一事件的Web事件表象形式多样,提出一种通过维度内容重组的事件表象统一方法,选取大量重复事件表象中较准确和详细的维度内容并组合到一条事件表象中,反映现实事件。本文提出一种通过维度内容重组的事件表象统一方法,提出使用Markov逻辑网结合多种一阶逻辑规则综合判断,选择事件表象中较完整、准确的维度内容。组合分散在多个事件表象中较准确详细的维度内容到一条事件表象中。实验结果表明,该方法能够有效选择较完整、准确的维度内容,事件表象统一有较高的准确率。(3)针对不同事件可以拥有共同主题,提出一种基于主题特征聚类和扩展LDA模型的事件主题分析方法。分析事件的主题词和主题词热度,从主题层面识别有价值事件。本文提出一种扩展LDA模型DLDA,在LDA模型中集成事件的维度信息,避免在主题无关的事件维度上分配主题概率(如时间、地点等维度内容),选取主题特征维度。根据选取的主题特征维度内容聚类,准确识别事件主题。提出一种主题词合成规则,合成事件的主题词并分析主题词热度。实验结果表明,本文所提方法可以准确地提取事件主题词并分析主题词热度,从主题层面有效识别有价值事件。
其他文献
第一部分人FXYD6抗原的表达与纯化目的:构建含人FXYD6胞内区-G4S-FXYD6胞外区-G4S-GST-His6TAG基因序列的原核表达质粒,并诱导其表达,并对表达出的蛋白进行纯化。方法:构建去除FX
本文将商业模式定义为活动系统,以网络价值为核心,拓展了Zott和Amit(2010)商业模式设计框架,将商业模式的活动系统深化为价值主张、价值创造、价值维持和价值获取4个部分。得
IgA肾病是指IgA或以IgA为主的免疫球蛋白弥漫沉积于肾小球系膜区及毛细血管袢引起的一系列临床症状及病理改变,占原发性肾小球疾病的20-50%,是当今全世界范围内最常见的原发
旅游商业化对旅游地的负面影响较为严重,是旅游研究中广泛涉及的问题,但对其评定却没有一个全面、系统的方法和依据,笔者根据在对民族乡村旅游点郎德上寨进行实地调查,通过座
猪增生性回肠炎是由胞内劳森菌感染引起的一种以回肠和结肠增生为特征的猪接触性肠道传染病.猪增生性肠炎对猪的生长影响特别大,料肉比增加15%左右,饲料浪费大,严重的会出现
籽瓜,又名“打瓜”,种类划分上属于西瓜,因为其含籽量丰富且食用时须拳打而被称之为“打瓜”。又因为只取其籽而大量的瓜皮及瓜瓤被丢弃从而引起资源浪费甚至环境污染问题。
加强和改善法治教育对于培养大学生的法治思维、法治意识、法治精神具有重要意义。当前大学生法治教育还存在教育定位存在偏差、教育内容比较陈旧、方式方法相对僵化、教育队
随着我国社会经济的不断发展,我国越来越多的居民开始喜爱旅游,将旅游看成是自身假期休闲的主要方式之一,尤其是大城市污染日趋严重的今天,很多的城镇居民都希望可以回归自然
目的:从发热性疾病的鉴别诊断,指导实习医师建立归纳演绎式的临床思维。方法:回顾性分析我院1997年1月至2003年3月收住的以发热为主要临床表现的患者706例,进行鉴别诊断思路
线材的氧化铁皮起着保护线材免锈蚀的作用,但是也需要在酸洗时容易除去。影响铁皮除去或结合力的主要是铁皮的厚度和其物相结构。通过对不同轧制条件下的氧化铁皮厚度、物相