【摘 要】
：
增量爬取是搜索引擎保持抓取数据新鲜度的重要技术，其实现思路分为朴素同步策略与主动同步策略两种。这两种思路目前在实现上存在着各自的不足，重要原因是其实现框架考量方面的不足。因此对增量爬取过程进行深入分析，界定出增量爬取所需要解决的核心问题；通过泛化解决核心问题的具体方法，定义出实现增量爬取技术的策略框架。基于该框架，可在完整回应核心问题的同时，采用灵活实现策略的具体方法，以保证增量爬取实现方案取得复
【机 构】
：
Research&Develo pment Center, Wonders Information Co, Ltd , Shanghai 201112
论文部分内容阅读
增量爬取是搜索引擎保持抓取数据新鲜度的重要技术，其实现思路分为朴素同步策略与主动同步策略两种。这两种思路目前在实现上存在着各自的不足，重要原因是其实现框架考量方面的不足。因此对增量爬取过程进行深入分析，界定出增量爬取所需要解决的核心问题；通过泛化解决核心问题的具体方法，定义出实现增量爬取技术的策略框架。基于该框架，可在完整回应核心问题的同时，采用灵活实现策略的具体方法，以保证增量爬取实现方案取得复杂度、性能的平衡。
其他文献
在一个字符串集合中，通过一些字符串的相似性函数寻找与查询字符串相似的字符串集合被称为字符串的近似查找。这种查找常应用于数据库、信息检索等各个领域。但是在某些特定的情况下，需要考虑字符串在查询中的重要性，即权值。针对这种同时考虑字符串相似性与权重的查询，在字符串集合中选择最佳的查询结果。首先提出了一个分为两步的Dtree算法处理这样的查询，并在两个步骤中设计了基于树状的索引结构来支持这样的查询。在真
实时OLAP对数据装载与更新、查询分析性能等方面具有更高的敏感性，面向DBMS的数据ETL和复杂SQL查询，提出了一种轻量级并行处理方法，即通过并行ETL过程将大规模、高维度事实表按照特定策略分布于多个数据节点，并基于多数据节点实现MDX多维查询分析的并行处理。采用Hadoop MapReduce编程模型，基于开源OLAP引擎Pentaho Mondrian实现，并通过实验及一个实时数据仓库商业项
随着移动计算的发展和移动设备的普及，移动数据管理已经应用在军事、交通等很多领域中。本文针对室内移动数据查询这一特殊的“限制性路径查询”开展研究工作。在室内空间的图模型的基础上不仅给出了该查询准确的形式化定义，还提出了CRS算法来解决室内环境下的限制性路径查询。最后的实验结果证明了该方法的有效性。
随着信息管理内容的不断扩展，出现了丰富多样的数据模型，而针对不同类型数据库的自然语言处理也是数据库管理中亟待解决的问题。因此提出了一种适用于信息网数据库系统的中文自然语言查询的模型设计和实现方法。根据信息网模型(INM)的半结构化特点以及查询语言的文法形式，在数据模型提取基础上建立扩充的语义知识库，通过对自然语言结构中的关系实体进行层次分析获得相对应的模糊关系树。然后选取树的最高层次实体作为INM
数据流事件预测在互联网、物联网和实时监控等领域有着重要的应用。现有数据流事件预测方法通常基于大小固定的滑动时窗和频繁事件情节挖掘,因而不能正确反映数据流事件发生模式的变化,缺乏对稀有事件规则的发现能力。针对这两个问题,首先提出一种适用于数据流事件情节挖掘的自适应时窗算法,根据事件发生模式变化动态调整时窗大小,进而提高事件规则挖掘的正确率；其次提出替代支持度的概念,在不影响频繁情节支持度的前提下提高
针对查询自动补全在传统的关键词检索系统得到了广泛的研究，但空间关键词检索并未得到足够的重视这一特点，本文提出一种基于日志项在线聚合的空间关键词检索的查询自动补全算法，可以根据用户当前的位置推荐出系统的查询日志中已经存在的、最相关的完整查询，通过新颖的空间-文本集成索引以及高效的混合过滤技术，新算法与基准算法相比，大大提高了效率。
社会网络中，不仅包括链接结构，还包括内容信息，内容信息表达了社会网络中个体相关的话题、兴趣等语义层面的信息。只考虑链接结构的社区挖掘方法无疑忽视了内容信息的价值。提出了一种结合链接结构和内容信息进行动态社区挖掘的方法，将链接结构和内容表达为矩阵形式，综合历史社区划分结果，使用非负矩阵分解方法进行社区划分，以使社区结果在反映网络的链接特征的同时，还反映话题、兴趣等语义层面的特征。在真实数据集上的实验
基于密度的聚类算法是到目前已提出的多种聚类算法中的一种非常有效的方法,这类算法可以检测数据空间中任意形状的簇,然而目前已有的一些基于密度的算法,如DBSCAN,DENCLUE,因为算法的全局参数问题而不适合处理不同密度的簇；SNN算法则由于需要从k最近邻相似矩阵中重构出共享最近邻图而在效率上有所欠缺.为了更有效率地检测数据集中的簇,提出了一种基于密度流模型的算法DEFAT.算法假设数据集中的每个对
针对无线传感器网络容易受到攻击、数据机密性差等问题,提出一个实现数据机密性的数据聚集协议HCDA.该协议使用端到端密钥对数据加密,确保数据的机密性,中间节点在不解密的情况下将收到的多个加密数据压缩为一个值,并将其映射成唯一的较小正整数继续传输以节约节点的能量消耗.sink通过对接收到的数据解压和解密,获得相关节点的真实数据,从而能够计算任意聚集函数,如MAX,MIN,SUM、查询区间值、第k大数值
提出了一种无线传感器网络中基于子空间划分的分布式Skyline查询算法(subspace dividing-based distributed skyline query algorithm,SDKSA),算法提出了一种基于子空间划分的感知数据存储方法,设立子空间划分策略、数据存储和映射策略,研究了查询执行过程和负载均衡策略。理论分析和实验结果都表明,该算法能够大大减少网络的平均通信量,对网络的规