论文部分内容阅读
为了解决传统网络爬虫对大型Web网站信息提取效率不高的问题,本文提出了一种引入Scrapy框架的Python网络爬虫提取方法。通过对主流网站进行信息提取,本文的方法显示出了较好的应用效果,实现了对大型经典网站的信息提取。
引入Scrapy框架的Python网络爬虫应用研究
【摘 要】
：
为了解决传统网络爬虫对大型Web网站信息提取效率不高的问题,本文提出了一种引入Scrapy框架的Python网络爬虫提取方法。通过对主流网站进行信息提取,本文的方法显示出了较好的应用效果,实现了对大型经典网站的信息提取。
【机 构】
：
湖南省高速公路集团有限公司,湖南工业职业技术学院
【出 处】
：
福建电脑
【发表日期】
：
2021年10期
【基金项目】
：
2021年度全国高等院校计算机基础教育研究会课题《计算思维导向下的高职Python数据分析课程教学改革研究》(No.2021-AFCEC-238)资助。
其他文献
近年来,图像自动标注成了当下机器学习最热门的研究方向之一。图像自动标注技术能够将互联网上海量的图像信息转换为文本信息,方便进行图像检索、图像分类等应用。现在主流的图像自动标注模型大部分都采用基于编码器—解码器框架的深度学习网络构建而成。本文主要是在编码器的基础上进行研究改进,从而提出了将卷积网络和SIFT特征进行融合的网络模型。该模型结合了卷积网络强大的特征提取能力以及SIFT特征对于图像的旋转、
把人像或景物等真实世界中的图片直接变换为动漫或插画风格图像是一件非常有趣且具有实际应用需求的任务,自该概念提出后就在计算机视觉领域引起了广泛的研究兴趣。当前在该任务的研究中主要通过生成对抗学习模型对图像进行风格迁移来实现。但是现有方法在图像风格迁移时难以同时传输风格与内容。本文针对该问题设计了新的生成器网络,在同时迁移风格与内容时做到了比较好的平衡。在将设计的生成对抗模型应用到图像风格转换任务上时
农作物在生长过程中会遭受各种病虫害的侵袭,导致产量下降。传统的病虫害检测是依靠农民的经验或者农业专家的专业检测。这不仅费时费力,而且不能准确识别农作物前期病变的细微不同。为了解决这些问题,本文开发了一款农作物病虫害智能分类识别APP。通过自动获得输入图像的特征,这款APP可实现对病虫害类型的分类,正确快速识别农作物所患病情,从而最大限度地减少农作物产量的损失。
本文提出一种基于多分类算法综合识别的DNS隐藏隧道检测系统,对DNS隐藏隧道的创建方式以及通信特征进行研究,提取出7种DNS隐藏隧道的数据特征,利用决策树、朴素贝叶斯、逻辑回归算法对DNS流量进行初步识别,加权各分类器的初步识别结果进行综合识别,并根据综合识别的结果与各分类器初步识别的结果进行对比,自适应更新各分类器权重,实现实时DNS隐藏隧道检测系统。实验结果表明,多分类算法综合识别对DNS隐藏隧道的检测准确率与单一机器学习算法识别相比有明显的优势。
在网络上开发一款满足大众需求、功能强大并且拥有自己的核心竞争力的播放器是十分必要的。本文设计并实现了一个视频播放系统。系统采用支持RTMP、RTSP、HLS的VLC流媒体框架,具有网络直播流播放和本地视频播放的功能。实验结果表明,本文设计的视频播放器能够播放三十多种格式的视频,解决了部分播放器支持视频格式较少的问题。
随着电商业务的迅速发展,传统架构已难以满足高并发需求,且新兴的Hadoop生态系统完全无法代替传统项目的需求。因此构建一个大型、高负载、高并发、多功能、分布式的大型电商务平台成为亟待解决的问题。本文采用分布式面向服务的思想,对大型电商平台的所有业务进行抽象抽取,构建基于Dubbo架构的独立部署的分布式服务大型电商平台。该电商系统平台采用ZK集群容器负责管理和调度系统资源,通过调用服务接口实现业务逻辑的灵活多变、提高可重用性和扩展性,可以解决高负载、高并发、多功能等问题。最后进行实时性实验。实验结果表明,本
为探究超高韧性水泥基复合材料(UHTCC)的动态本构关系及纤维体积掺量对聚乙烯醇纤维增强水泥基复合材料(PVAFRCC)动态力学性能的影响,基于Φ80 mm霍普金森压杆(SHPB)装置分别对不同纤维体积分数(0vol％、0.5vol％、1vol％、1.5vol％、2vol％)的PVAFRCC试件进行冲击压缩试验,得到各类型材料在不同应变率下的应力-应变曲线.结果 表明:在约110～270 S-1的应变率范围内,与纤维掺量0vol％的基体(PVAFRCC-0)相比PVA纤维的掺入对动态强度增强因子(μDIF
近年来,医患之间关系微妙,因此有效调解医患矛盾、协调医患关系,已经成为医院常规的重点工作之一。但目前采用的人工回访方式,除了效率低下以外,还存在不少问题。因此,本文设计了一个智能语音回访平台,实现自动全覆盖回访、保存回访原始记录以及不满意处理过程,既可以最大限度保护患者隐私以及投诉人的信息安全,又能维护医生的正常工作不受子虚乌有的问题干扰甚至陷入医疗纠纷,具有一定的社会效益。
为了高效便捷地处理放射性废水,制备了聚乙烯亚胺(PEI)改性磁性酵母(MY)复合生物材料(MY@SiO2-PEI),并将其用于铀(Ⅵ)的去除.采用SEM、FTIR、Zeta电位及XPS对材料进行表征,运用Visual MINTEQ模拟不同条件下U(Ⅵ)形态分布,通过研究不同溶液pH、温度、反应时间、离子强度,阴离子(CO32-、PO43-)及不同U(Ⅵ)初始质量浓度等方面,考察不同因素对MY@SiO2-PEI吸附U(Ⅵ)的性能影响,并对MY@SiO2-PEI的循环利用能力进行研究.结果 表明,MY@SiO
针对多向异型复合材料构件用3D整体预制体,基于衬经2.5D机织结构,提出5种近净形转向仿形编织工艺,设计并制备了具有典型引纱加纱结构的板条状预制体试样.采用计算机断层扫描法(Micro-CT),观测各系统纱线横截面形态变化和纱线取向分布规律,发现引出加入的纱线沿织物厚度方向挤紧状态发生改变,其横截面从椭圆形变成梯形,又变为三角形,经纱被引出和加入会造成与其接触的纬纱横截面变化.结合复合材料构件的实际承载工况,对具有5种引纱加纱结构的复合材料试样进行了经向抗弯性能测试,结果表明,复合材料的弯曲强度和弯曲模量