面向主题搜索的网络爬虫信息采集策略研究

来源 :软件导刊 | 被引量 : 0次 | 上传用户:leux
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于主题搜索的主题网络爬虫,只抓取与用户主题相关的页面。在深入分析主题页面分布特征和主题相关性判别算法的基础上,提出了一个面向主题搜索的网络爬虫模型,它很好地克服了通用搜索引擎准确率偏低、信息内容相对陈旧、信息分布范围不均衡等不足。实验结果表明,尽管基于主题爬虫的搜索增加了内存使用率,但也成倍提升了搜索的准确性,提高了抓取效率以及抓取结果的利用率。
其他文献
在飞行器导航定位优化控制的研究中,针对无法获得GPS信号时,长航时飞行器捷联惯导系统存在误差,提出了关于图像地标的飞行器精确定位算法,为实现成像系统对捷联惯导系统的误差校正奠定了基础。利用特定地标在机载摄像机像平面上的图像信息,通过图像变换、匹配定位、坐标变换,解算摄像机空间三维坐标和三个姿态角。再根据摄像机坐标系与机体坐标系的变换关系,推算飞行器精确位置。通过计算机仿真对算法进行了验证,结果表明
研究图像拼接技术优化问题,是当前图像处理领域的研究热点。由于技术原因,在拼接时会造成误配。目前有利用全局优化的拼接方法进行修正的,理论上比较合理,但在速度和效果方面,尤其是精度要求比较高的场合还不理想。为解决上述问题,提出一种新方法,根据图片拼接时位置之间的相关性进行修正。提出拼接参数的相关公式,分析并提出修正简化规律。最后对十六张病理切片拼接图中误配部分进行修正。实验证明,算法可以将误差控制在一
研究无线传感器覆盖(WSN)优化问题,由于网络传感器节点分布不均匀,又存在冗余等问题。传统WSN高密度部署方法,节点分布极不均匀,节点覆盖区域之间的重复率高,节点浪费严重,导致网络覆盖率低、成本高。为了提高无线传感器网络的覆盖率,提出一种混沌粒子群优化算法(CPSO)的WSN覆盖优化算法。首先以提高网络覆盖率为优化目标,建立WSN覆盖优化数学模型,然后通过粒子间协作进行求解,并对粒子群混沌扰动,保
针对利用频域方法实现水声宽带信号波形预报过程中计算量较大的问题,引入频域宽带近似展开模型,研究了适合该宽带模型特点的并行算法,将串行模型并行化,并对宽带信号波形并行算法的可行性和有效性进行了分析,通过仿真分析利用模型的并行算法,在典型浅海负跃层和深海声道环境下,波形预报速度分别提高了26倍和24.6倍,计算效率都在75%以上,有效的实现了水下宽带声场的快速准确预报,为实现大规模信号级仿真奠定基础。
研究煤矿安全准确评价问题。煤矿安全评价指标多,由于煤矿的自然条件,生产条件和保障条件各有不同,随机性较强。如何准确选择评价指标是保障煤矿安全的关键,传统评价法难以正确对评价指标赋权值,导致评价结果准确率低,解释性不强。为提高煤矿安全评价结果的准确率,提出了一种层次分析法和逼近理想解排序相结合的煤矿安全评价模型。首先在对煤矿生产特点进行分析,并利用专家系统构建煤矿安全评价指标体系,然后用层次分析法对
在工业生产过程中,由于设备所收集到的混合信号中包含大量的背景噪声信号,而这些背景噪声信号会影响到异响有用信号的提取。因此,为对收集的信号进行消噪,提出了小波阈值去噪中估计小波系数的软阈值和硬阈值方法,结合硬阈值和软阈值方法各自的特点,采用了几种改进的方案,分别是多项式插值法,软、硬阈值折衷法和模平方处理方法。最后给出了数值试验,结果说明,改进的小波阈值方法都得到了较好的去噪效果,为工业生产过程优化
随着网络技术的发展,越来越多的人选择在互联网上观看各类视频信息。在如此庞大的视频信息库面前,如何精准地搜索到用户需要的视频信息成为科研人员关注的课题。目前流行的视频检索系统中,时常会出现检索出来的内容与用户需求不相符的现象。针对用户与机器的这种"语义鸿沟"现象,综合国内外研究成果,阐述了基于语义的视频检索发展现状,介绍了几种基于语义的视频检索技术,对语义视频检索的发展前景作了展望。
关于防暴锥形炮管结构优化问题,为了提高脉冲防暴水炮射流轴向速度矢量比,增强流形稳定性等,采用相比传统的圆柱形炮管具有很大优势的锥形炮管,通过合理的选择锥形炮管的结构参数来提高脉冲防暴水炮技战术性能。通过建立压力方程、气体做功方程和水柱加速度方程,并在Fluent流体仿真软件进行仿真分析。确定了在锥形炮管大端直径D=64mm的情况下,出口直径d=38mm时所获得初始射流的综合性能最好的效果,为设计系
关于网络节点优化定位问题,在无线传感器网络中的离群节点是指那些明显偏离传感数据正常模式的节点。有效的离群节点定位可以保证网络安全。离群数据往往在属性上大幅偏离原始特征,节点在空间上不具备直观关联性。传统定位方法仅仅依靠空间位置的关联性检测节点,一旦离群节点数据属性偏离原始特征,造成空间失连,很难被准确的定位。提出一种不规则节点形状模型的无线传感器网络的局部离群点定位算法,采用一种带有约束条件的不规
研究小型无人机机载摄像机图像退化的复原问题。为了提高盘旋工作状态下图像恢复效果,针对小型无人机盘旋工作状态与平飞作状态图像退化机理的差异,通过对图像模糊过程进行分