【摘 要】
：
针对天网FTP搜索引擎搜集系统存在全量搜集周期过长导致检索误差大、效率低的不足，基于真实实验数据分析和总结FTP站点分布和变化特征，提出一种高效的FTP站点RANK模型以及相应的增量搜集策略；设计并实现增量搜集模型和站点的更新度预测算法。同时，针对模型和算法建立测试集和定义评测标准，对增量搜集模型不同参数组合的运行效果进行实验评测，最终得出一种适合FTP增量搜集系统的最优扫描策略：基于站点RANK
【机 构】
：
北京大学 深圳研究生院 互联网信息工程研发中心,广东 深圳,518055 深圳大学城 网络信息中心
【出 处】
：
中国教育和科研计算机网CERNET第十七届学术年会
论文部分内容阅读
针对天网FTP搜索引擎搜集系统存在全量搜集周期过长导致检索误差大、效率低的不足，基于真实实验数据分析和总结FTP站点分布和变化特征，提出一种高效的FTP站点RANK模型以及相应的增量搜集策略；设计并实现增量搜集模型和站点的更新度预测算法。同时，针对模型和算法建立测试集和定义评测标准，对增量搜集模型不同参数组合的运行效果进行实验评测，最终得出一种适合FTP增量搜集系统的最优扫描策略：基于站点RANK及上次变化历史的更新度预测算法组合能够以较低成本抓取每天变化的主要数据，并很好地缩短索引更新周期，取得较好的增量搜集效果。目前，本设计系统已部署在深圳大学城网络中心的FTP搜索引擎上，并取得了很好的运行效果。
其他文献
针对传统的基于图论的路径多样性测度难以有效评估复杂网络的问题，提出一种基于串并联多样性模型(SPDM)的新型测度。利用RouterViews站点搭建多宿主试验平台，结合SPDM测度进行多宿主站点的AS路径多样性测试。测试结果验证了SPDM测度的可行性，SPDM测度简单方便，能够有效地反映端到端的路径特性，因此，可作为网络可用性和网络性能的测试指标。同时，多宿主能够明显地提高端到端的AS路径多样性；
在系统分析解析模型、报文级模拟、网络仿真、混合方法等蠕虫仿真环境构建技术的基础上，建立蠕虫分类体系；针对已有实验环境在扩展性和逼真度平衡、评估蠕虫防御机制有效性等方面的不足，将报文级模拟和网络仿真等技术有机结合，提出一种可重构的蠕虫仿真实验环境LSNEMU1ab，并基于NS2模拟器实现了单个仿真节点上虚实结合的蠕虫仿真模型(VRHWE)，支持在混合网络仿真环境中细粒度的蠕虫仿真以及自定义蠕虫的渗透
研究选项对互操作的影响。首先对可选项的作用阶段建立着色Petri网模型并生成部分模型的可达图；然后基于所得可达图采用数据选择的方法生成测试路径集，给出测试路径的生成算法。以OSPFv3协议中的可选项E-bit对OSPFv3协议实现间建立邻接关系的影响为例说明给出方法的有效性，并且搭建OSPFv3互操作测试的平台，测试E-bit对互操作的影响。
分析核心路由表膨胀的主要影响因子，测量多宿主、流量工程、地址碎片和未聚合前缀对核心路由表增长的影响，评估各因子的发展趋势。结果表明：多宿主前缀在全球路由表中的比例为23％～31％，并表现出了最强劲的增长势头；未聚合前缀所占比例约为30％，与5年前相比，增长了约6.4％；流量工程所占比例只有15％～20％，并且近年来表现出了略微下降的趋势；虽然地址碎片约为整个路由表的一半，但其增长速度慢于整个路由表
随着网络多媒体等实时交互应用对网络带宽需求的增长，IPv6组播在校园网中的部署变得越来越必要和紧迫。对IPv6组播的传输机制进行分析，介绍MLD和IPv6 PIM-SM等IPv6组播协议的原理，重点介绍校园网IPv6组播的部署方案，搭建测试环境验证了主流厂商设备对IPv6组播的支持和兼容情况，总结在校园网环境中部署IPv6组播时遇到的问题以及解决方法。
从校园网中普遍存在的出口瓶颈问题出发，分析现有的多出口解决方法。在不调整原有网络结构的前提下，提出用多出口缓存代理的方式来提升网页浏览速度，其中，关键的缓存代理功能和地址转换策略均由Squid来完成。转换完成后的地址路由则通过Linux的高级路由功能来实现。最后，对Squid性能进行优化和监控。
网络流的准确分类是许多网络研究工作的基础，一直是网络测量领域的研究热点，近年来涌现出许多新颖的流量分类技术。简要介绍流量分类技术的现状，分析目前流量分类技术，如有效载荷分析分类、统计分类、机器学习分类和TDGs推理等分类方法，介绍这些分类技术的基本原理及实现过程。指出流量分类技术的应用领域及未来研究方向。
由于主流ISP之间的互联带宽不能完全满足网络普及和应用发展的需要，为了提高服务质量，校园网通常会接入多个ISP以增加出口带宽、提高访问速度并优化服务质量。通过对校园网现状和需求的分析，结合智能DNS技术、反向代理技术、策略路由技术、链路负载均衡技术等的研究和应用，设计一种通用性强、易于实施、控制灵活的多出口优化综合技术方案。实际应用表明：提出的技术方案能很好地优化网络流量，提高服务质量。
“精准农业”是近年来国际上农业科学研究的热点，它将现有农业生产手段与信息技术有机结合，实现精细准确的农业生产。农田信息采集和监测系统作为该系统的重要组成部分，可以提高效率、提升精度和节省资源，具有良好的研究和应用前景。针对大规模农田的农情参数采集及数据处理，设计一种混合型无线网络——基于IEEE802.15.4的无线短距离通信网和基于GPRS的无线长距离通信网的结合，并通过传感器来感知农田环境，从
相对于较低清晰度的视频，多点高清视频交互更易因网络带宽和终端计算能力的限制而产生可扩展性问题。针对此问题，设计并实现基于IPv6的可扩展高清视频会议系统。系统在发送端采用分层编码，将视频编码成高清视频和较低分辨率的小图视频；在网络传输层则对这两类不同码率视频流分别传输，由小图组合画面实现多画面交互，高清视频流则根据用户需要选择性接收和解码以减小带宽占用和解码计算量。在IPv6网环境下进行了此系统的